Ване было четыре года, когда у него умер отец. Матери он лишился будучи одиннадцати лет — она умерла от холеры. Он остался круглым сиротой и поселился у старшего брата Семена. Но Семен страдал запоями и скоро, спустив все отцовское имущество, должен был идти работать в чужие люди. Брата Ивана он тоже определил на место. Много мест пришлось переменить юному Ивану. Он испытал и холод, и голод, иногда побои и разные опасности.
Хотя он жил в развращенной и грубой среде, ничто плохое не пристало к нему. Молитва была неизменной спутницей его скорбной жизни, а храм -— единственным местом утешения. Наконец, ему удалось попасть на хорошее место к купцу Рафаилову, который полюбил Ивана за его кроткий нрав, и даже хотел выдать за него замуж свою дочь, но земные привязанности были далеки от Ивана. Его чистую душу влекло в монастырь. Любимым чтением его с детства было чтение житий святых. Он собирался пойти на богомолье в Киев на поклонение святым местам. Когда купец предложил ему жениться на его дочери, он повторил свою просьбу отпустить его помолиться, остальное он предоставил воле Божией. Добрый его хозяин, видя горячее стремление юноши к Богу, не посмел его удерживать. И вот Иван отправился к святым местам. По дороге он зашел в святые Горы, а затем в Борисовскую женскую Пустынь, где его сестра была монахиней. Эта обитель отличалась строгостью устава. Там схимонахиня Алипия посоветовала ему не ходить в Киев, а пойти в Оптину, к старцам. Иван послушался ее совета и поехал в Оптину. Придя к старцу Амвросию, он рассказал ему всю свою жизнь и просил благословения на поездку в Киев, но преподобный посоветовал ему остаться в Оптиной. Иван верил, что в словах старца заключается указание воли Божией, и остался. Это было 1 марта 1861 года.
Первым его послушанием в Оптиной была работа на кухне. Но уже вскоре ему предложили перейти к старцу Амвросию, оценив его добрые качества: безпрекословное послушание, скромность и молчаливость. В «хибарке» старца Амвросия он прожил ровно пятьдесят лет. Первое время близость к старцу, с одной стороны, утешала его, а с другой, постоянная суета и прием посетителей смущали и тяготили его. Он опять стал мечтать о Киеве и об Афоне. Однажды преп. Амвросий застал его за такими размышлениями. Читая его мысли, он сказал: «Брат Иван, у нас лучше, чем на Афоне, оставайся с нами». Эти слова так поразили молодого послушника, что он понял, что его помыслы были только искушением. С этих пор он стал самым преданным и любимым учеником преп. Амвросия. Не только воля старца, но каждое его слово было для него законом.
Старшим келейником преп. Амвросия был человек суровый и угрюмый, который не показывал новичку, как и что надо делать, а когда тот ошибался, он укорял его. Вот эта-то школа терпения и сделала старца Иосифа таким кротким и смиренным. Она же выработала в нем самоукорение. Несправедливость раздражает обыкновенно человека, но когда он, через внимание к своей совести научается находить вину в себе, тогда он прежде всего осуждает себя и принимает суд ближнего как заслуженное от Бога за грехи наказание, и не раздражается, но еще и благодарит ближнего.
Неизменно благодушное настроение преп. Иосифа влияло на всех. Он со всеми был мирен и умел всех смирять своим смирением, кротостью и уступчивостью.
В 1872 году он был пострижен в монашество с именем Иосифа. Его серьезное настроение с той поры стало еще более сосредоточенным и глубоким. Он сохранил полное послушание своему старцу и без его благословения ничего не делал.
Через пять лет он был посвящен в иеродиаконы. Его жизнь не изменилась после этого, наоборот, прибавилось еще работы и забот.
Спал он в приемной старца Амвросия. Эта комната иногда освобождалась от приема посетителей поздно ночью, так что преп. Иосиф не имел времени отдохнуть. Нередко старец Амвросий, по завету св. Иоанна Лествичника, испытывал терпение и смирение своего ученика, предоставляя ему показать случай монашеского безгневия.
В 1884 году была торжественно открыта Шамординская женская обитель, находившаяся недалеко от Оптиной. За Литургией преп. Иосиф был посвящен в иеромонахи. С первого же дня он начал свое священнослужение твердо, внятно, неторопливо и благоговейно. Сам он в дни служения делался каким-то радостным.
По болезни старец Амвросий не выходил в церковь. Преп. Иосиф начал служить в его келье всенощные бдения. Он стал старшим келейником и получил келью вместе с другим келейником. Как старший келейник он считал своей главной обязанностью заботиться о спокойствии старца Амвросия. Поэтому он часто выходил в приемную и внимательно выслушивал посетителей. Ответ старца он передавал в точности, ничего не прибавляя от себя. Этим он заслужил уважение и любовь всех приезжающих. Прием у старца иногда затягивался до одиннадцати часов ночи. Видя усталость старца, преп. Иосиф деликатно начинал заводить часы в его комнате, напоминая этим, что пора кончать.