Старинное «село Константиновское, Рожай тож, на речке Рожае», называлось еще Богородским. Здесь, по писцовым книгам 1627—1628 гг. находилась церковь во имя Пресвятой Богородицы «Одигитрии» с приделами во имя Иоанна Предтечи и святителя Николая Чудотворца. Значительное время село было вотчиной Головиных. В 1650-х гг. его купил князь Ю.И.Ромодановский, по челобитью которого 11 июня 1670 г. выдана благословенная грамота построить церковь каменную в честь Пресвятой Богородицы «Одигитрии» с двумя приделами. Смоленская церковь была сложена из кирпича и облицована белым камнем.
В 1825—1827 гг. церковь перестроили: наверху появилась купольная ротонда, были увеличены окна, расширены алтари и приделы. Вместо прежней возвели трехъярусную колокольню со шпилем.
В 1930-х гг. храм был закрыт и переделан до неузнаваемости.
В 2002 г. церковь передана Русской Православной Церкви. Ведутся ремонтно-восстановительные работы.