Строительство первого в селе Варыпаево каменного Крестовоздвиженского храма было начато местным помещиком статским советником Никифором Михайловичем Заварицким (1763-1829) ранее 1795 г., окончательно храм был достроен в 1814-1820 гг. В отдельно стоящей колокольне был придел свт. Николая Чудотворца.
В годы безбожия колокольня была снесена, храм сохранился, но стоит в руинах.
В 1998 г. в селе был зарегистрирован православный приход, и в 1999 г. кирпичном здании бывшей сельской библиотеки, построенном в 1986 г., открылся Крестовоздвиженский молитвенный дом.