Хотя он жил в развращенной и грубой среде, ничто плохое не пристало к нему. Молитва была неизменной спутницей его скорбной жизни, а храм — единственным местом утешения. Наконец ему удалось попасть на хорошее место к купцу Рафаилову, который полюбил Ивана за его кроткий нрав и даже хотел выдать за него замуж свою дочь. Но земные привязанности были далеки от Ивана. Его чистую душу влекло в монастырь. Любимым чтением его с детства было чтение житий святых. Он собирался пойти на богомолье в Киев на поклонение святым местам. Когда купец предложил ему жениться на его дочери, он повторил свою просьбу отпустить его помолиться. Остальное он предоставил воле Божией. Добрый его хозяин, видя горячее стремление юноши к Богу, не посмел его удерживать. И вот Иван отправился к святым местам. По дороге он зашел в Святые Горы, а затем в Борисовскую женскую пустынь, где его сестра была монахиней. Эта обитель отличалась строгостью устава. Там схимонахиня Алипия посоветовала ему не ходить в Киев, а пойти в Оптину к старцам. Иван послушался ее совета и поехал в Оптину. Придя к старцу Амвросию, он рассказал ему всю свою жизнь и просил благословения на поездку в Киев. Но Старец посоветовал ему остаться в Оптиной. Иван верил, что в словах Старца заключается указание воли Божией, и остался. Это было 1 марта 1861 года.
Первым его послушанием в Оптиной была работа на кухне. Но уже вскоре ему предложили перейти к старцу Амвросию, оценив его добрые качества: беспрекословное послушание, скромность и молчаливость. В хибарке старца Амвросия он прожил ровно 50 лет. Первое время близость к Старцу, с одной стороны, утешала его, а с другой — постоянная суета и прием посетителей смущали и тяготили его. Он опять стал мечтать о Киеве и об Афоне. Однажды о. Амвросий застал его за такими размышлениями. Читая его мысли, он сказал: «Брат Иван, у нас лучше, чем на Афоне, оставайся с нами». Эти слова так поразили молодого послушника, что он понял, что его помыслы были только искушением. С этих пор он стал самым преданным и любимым учеником о. Амвросия. Не только воля Старца, но каждое его слово было для него законом.
Старшим келейником о. Амвросия был человек суровый и угрюмый, который не показывал новичку, как и что надо делать, а когда тот ошибался, он укорял его. Вот эта-то школа терпения и сделала старца Иосифа таким кротким и смиренным. Она же выработала в нем самоукорение. Несправедливость раздражает обыкновенно человека; но когда он через внимание к своей совести научится находить вину в себе, тогда он прежде всего осуждает себя и принимает суд ближнего как заслуженное от Бога за грехи наказание и не раздражается, но еще и благодарит ближнего.
Неизменное благодушное настроение о. Иосифа влияло на всех. Он со всеми был мирен и умел всех смирять своим смирением, кротостью и уступчивостью.
В 1872 г. он был пострижен в монашество с именем Иосиф. Его серьезное настроение с той поры стало еще более сосредоточенным и глубоким. Он сохранил полное послушание своему Старцу и без его благословения ничего не делал.
Через пять лет он был посвящен во иеродиакона. Его жизнь не изменилась после этого, наоборот, прибавилось еще работы и забот. А спал он в приемной старца Амвросия. Эта комната иногда освобождалась от приема посетителей поздно ночью, так что о. Иосиф не имел времени отдохнуть. Нередко старец Амвросий по завету св. Иоанна Лествичника испытывал терпение и смирение своего ученика; он предлагал ему показать случай монашеского безгневия.
В 1884 г. была торжественно открыта Шамординская женская обитель, находившаяся недалеко от Оптиной. За Литургией о. Иосиф был посвящен во иеромонаха. С первого же дня он начал свое священнослужение твердо, внятно, неторопливо и благоговейно. Сам он в дни служения делался каким-то радостным.
По болезни о. Амвросий не выходил в церковь. Отец Иосиф начинает служить в его келлии всенощные. Он становится старшим келейником и получает келлию вместе с другим келейником. Как старший келейник, он считал своей главной обязанностью заботиться о спокойствии старца Амвросия. Поэтому он часто выходил в приемную и внимательно выслушивал посетителей. Ответ Старца он передавал в точности, ничего не прибавляя от себя. Этим он заслужил уважение и любовь всех приезжающих. Прием у Старца иногда затягивался до 11 часов ночи. Видя усталость Старца, о. Иосиф деликатно начинал заводить часы в его комнате, напоминая этим, что пора кончать.
Несмотря на большую занятость, о. Иосиф находил время для чтения творений святых отцов, особенно «Добротолюбия». Он был человек глубокого внутреннего делания, проходивший так называемую Иисусову молитву. Старец же Амвросий постепенно подготовлял его к старческому служению, уча его словом и собственным примером. Он любил его и доверял, называя его своей правой рукой, и никогда не разлучался с ним в течение 30 лет. После смерти о. Амвросия о. Иосиф остался таким же смиренным, как был. Он никогда не придавал себе никакого значения и говорил: «Что я значу без Батюшки? Нуль и больше ничего».