В 1898 г. тверскому архиерею для зимней резиденции передается Дом губернатора. В связи с этим на рубеже XIX-XX вв. комплекс частично обновляется по проекту арх. Д.Л. Фёдорова: в западном крыле размещается церковь Двенадцати апостолов, над которой воздвигается гранёный купол с крестом на приземистом восьмерике, со двора для нее делается пристройка с лестницей. В 1899 г. церковь освящается. В 1917 году церковь закрыли. В послевоенные годы в здании располагались Обком КПСС, клуб швейников. К 1991 году здание пришло в аварийное состояние. В 1995 году комплекс был возвращен епархии, понадобилось несколько лет, чтобы очистить комнаты то накопленгого мусора и провести ремонтные работы. С помощью спонсора удалось провести реставрационные работы в самой церкви, но денег не хватило на их завершение, поэтому помещение храма использовалось как конференц зал Тверской епархии.