Дом Билибина с оградой и павильонами, XVIII-XIX веков