Особняк П.Ф. Семянникова, вторая половина XIX века