Ансамбль тюремного замка, 1866 год, начало XX века