Эффектным завершением комплекса архиерейского дома явились пышные палаты, построенные по заказу епископа Иосифа, прозванного «Золотым». О времени их сооружения свидетельствует латинская надпись во фризе на главном фасаде:
|
«Начата постройка сего дома в 1764 году, при помощи свыше освящающей благодати святого духа окончена в 1769 году». | 
|
В ликующей праздничности архитектурного облика этого здания, объекта культурного наследия, с вычурной линией фронтона центральной части, с замысловато-узорчатыми наличниками окон и полихромной раскраской сказывается общее для русской архитектуры середины XVIII в. стремление к нарядности, проявившееся с некоторым запозданием и в провинции.
Здание снаружи почти не подвергалось переделкам, но выступающая лестничная клетка является пристройкой середины годов XVIII в. Первоначально здесь был проезд под зданием. На южном фасаде арка проезда сохранилась.
В высоких залах второго этажа бывших парадных покоев сохранилась часть художественно оформленных печей. Очень нарядна печь начала XVIII в. с двумя поясами балясинок; облицованная цветными изразцами с изображением на них стилизованных букетов цветов. К первой половине XVIII в. относятся и печи, где на белом фоне изразцов выделяется зеленый цвет рисунка. В пышной декоративной рамке размещены изображения различных жанровых сценок, снабженные пояснительной надписью. Здесь и китаец, держащий зонтик над головой красивой китаянки, — «госпоже своей служу», и женщина, сидящая рядом с большой собакой, — «приучаю к беседе», и всадник верхом на фантастической птице, — «скоро бегаю», и охотник, скачущий на коне с соколом на руке, — «охота моя со мной».
Ассортимент такого типа изразцов был настолько велик, что в облицовке отдельной печи изразцы с одинаковым рисунком почти не встречаются. В богатых жилых домах такие изразцы в свое время играли роль детских книжек с картинками: ими любовались в долгие зимние вечера, по этим надписям дети учились читать, молодежь гадала.
