Дом А.П. Виноградова, XIX век