Усадьба Сапуновых, вторая половина XIX века