Иоанн рожден незамужней крестьянкой Ксенией Ивановной Калининой. Отец неизвестен, отчество получил от имени крестного отца, вероятно своего дяди Василия Ивановича. Учился в оленевской земской школе. Занимался сапожным делом, вязал перчатки и шарфы. С детства был строгим постником и молитвенником. Жил с матерью, а потом с овдовевшей сестрой в маленьком старом домике около церкви. После смерти сестры заботился о 4 племянниках. Пел в сельской Введенской ц. на клиросе, читал псалмы, был канонархом. Странствовал по св. местам, посещал местных подвижников благочестия. Согласно устному преданию, совершил паломничество в Св. землю. Пользовался большим авторитетом среди верующих, приезжавших к нему за советом даже из отдаленных мест; почитался за праведную жизнь, способность утешить в бедах и печалях, дать ответ на любой вопрос, даровать исцеление души и тела. Когда в 1918 г., во время революционных беспорядков, сгорел старый дом Иоанна при церкви, прихожане своими силами выстроили ему новый под железной крышей.
В 1920 г. Пензенским архиеп. сщмч. Иоанном (Поммером) рукоположен целибатом во диакона. Служил вне штата во Введенской ц. с. Оленевка. Как диакон был лишен избирательных прав. о. Иоанн был широко известен, многие стремились получить у него духовное наставление или исцеление от болезней. В 1924 г. в местной печати против о. Иоанна была начата клеветническая кампания. У него отобрали дом, о. Иоанн жил у родственников или духовных детей в соседних деревнях. В 1930 г. после ареста настоятеля был закрыт Введенский храм в с. Оленевка, о. Иоанн стал служить диаконом в Троицкой ц. с. Соловцовка, а также в храме с. Николаевка. В июне того же года он вместе с клиром и прихожанами не допустил захвата Троицкого храма обновленцами во главе с прибывшим в Соловцовку обновленческим «архиепископом» Николаем Розановым.
8 апр. 1932 г. о. Иоанном был арестован. Проходил по групповому делу «контрреволюционной организации церковников «Истинно православные»» вместе с большой группой сельского духовенства правосл. Пензенской епархии. Обвинялся в «агитации через посещающих богомольцев», в том, что «сеет религиозную заразу и ведет скрытую работу, направленную на срыв мероприятий советской власти». На допросе отказался определить, к какому «направлению» в Православной Церкви он принадлежит. Заявил, что поминает за богослужением Патриаршего Местоблюстителя сщмч. Петра (Полянского) и Пензенского еп. Кирилла (Соколова; с янв. 1931 в заключении), а о митр. Сергии (Страгородском; Заместитель Патриаршего Местоблюстителя; впосл. Патриарх Московский и всея Руси) и Гдовском еп. Димитрии (Любимове ; лидер иосифлян) ничего не знает. 14 мая 1932 г. Особой тройкой при Полномочном представительстве ОГПУ в Средневолжском крае приговорен к высылке за пределы края на 3 года, но 22 мая освобожден под подписку о невыезде.
Вернулся на жительство в с. Оленевку, где у него появился свой дом-келья, куда к нему приходили верующие. Пензенские священнослужители пользовались его советами по организации помощи неимущим, интересовались его мнением, как относиться к разного рода самозваным «пророкам». 30 янв. 1934 г. Отец Иоанн был задержан, помещен в тюрьму, но на следующий день освобожден под подписку о невыезде. На следствии дал показания: «Народ меня считает за праведника и прозорливца, я его не разубеждал в этом… Всем, кто приходил ко мне с жалобами или за советами, я давал эти советы, успокаивал и призывал к терпению». 26 февр. дело в отношении о. Иоанна было прекращено «вследствие его болезни и преклонного возраста».
