Дом Сахарова, XIX век