Несмотря на большую занятость, преп. Иосиф находил время для чтения творений св. отцов, особенно «Добротолюбии». Он был человек глубокого, внутреннего делания, проходивший Иисусову молитву. Старец же Амвросий постепенно подготовлял его к старческому служению, уча его словом и собственным примером. Преп. Амвросий любил его и доверял ему, называя своей правой рукой и никогда не разлучался с ним в течение тридцати лет. После смерти преп. Амвросия старец Иосиф остался таким же смиренным, как был. Он никогда не придавал себе никакого значения и говорил: «Что я значу без батюшки? Нуль и больше ничего».
Старец Иосиф был слабого здоровья и очень воздержан в пище. Он никогда и ничем не выдавался. Тихо и скромно он делал свое дело. Он был истинным помощником старца Амвросия, но держал себя так, как будто и не был так высоко поставлен. Обращение его было непринужденно и духовно просто. Любовь его к старцу Амвросию была так глубока, что он готов был отдать за него свою жизнь. Ни словом, ни делом, ни мыслью он не противоречил старцу.
В последние годы жизни преп. Амвросия к нему стало приходить так много посетителей, что он не мог принять всех. Многих он посылал к старцу Иосифу. В 1888 году преп. Иосиф сильно заболел и готовился к смерти. Ему уже прочитали отходную. Старец Амвросий очень скорбел о своем любимом ученике и, конечно, горячо молился о нем. Наконец, преп. Иосиф поправился. После выздоровления он стал помогать старцу Амвросию тем, что исповедовал народ. В этом же году летом преп. Амвросий благословил его съездить в Киев, куда он так стремился тридцать лет тому назад. Проездом туда он заехал в монастырь, где жила его сестра монахиня Леонида. Радости ее не было конца при виде своего «братика».
Через два года старец Амвросий совсем переселился в обитель Шамордино, а преп. Иосифу он велел оставаться в Оптиной. Последний сильно скучал без старца, но, покорный воле Божией и старца, примирился со своим новым положением. Еще через год, в 1891 году, старец Амвросий тяжело заболел и скоро умер. Все близко знавшие преп. Амвросия тяжело переносили эту смерть, но тяжелее всех ее переносил старец Иосиф. Однако он не потерялся и не упал духом, а еще утешал других. После смерти старца Амвросия духовное окормление Шамординской обители перешло к преп. Иосифу. А вскоре после смерти скитоначальника о. Анатолия старец Иосиф занял и эту должность и с нею стал старцем для всей братии Оптиной Пустыни.
Итак, «хибарка» старца Амвросия, свидетельница стольких молитв и подвигов, не опустела. Духовные чада преп. Амвросия видели в старце Иосифе его преемника.
Распорядок дня преп. Иосифа был заведен раз и навсегда. С утра он принимал посетителей. После трапезы немного отдыхал, а затем опять принимал народ. К себе он был всегда строг и никогда не позволял себе никаких послаблений. В обращении он был ровен со всеми. Его краткие ответы и сжатые наставления были действительнее самых продолжительных бесед. Кроме влияния своим благодатным словом на душевное расположение человека, старец Иосиф имел еще несомненный дар исцеления болезней душевных и телесных. Случаев, в которых ясно обнаруживался его дар прозорливости, так много, что невозможно их передать. Вот пример.
В книге С. Нилуса «На берегу Божьей реки», изданной в Троице-Сергиевой Лавре в 1916 году, написано следующее:
«25 сентября, день преподобного Сергия Радонежского и всея России Чудотворца. День моего ангела. Вчера с вечера у нас в доме служили всенощную, и как же это было умилительно! Весь сегодняшний день сердце праздновало какою-то особенною праздничною радостью.
Ходили к старцам. Старец Иосиф поразил меня некоей неожиданностью, какой я от него никогда не видел и ожидать не мог. Принял он нас в своей комнатке. Сидел он слабенький, но очень благодушный, на своем диване, одетый в теплый подрясник серого цвета из какого-то очень мягкого пушистого сукна. Подрясник был опоясан довольно тонким шнурком, сплетенным из нескольких шнурков — белых и красных. Мы стали перед старцем на колени, чтобы принять его благословение. Батюшка благословил и вдруг порывистым движением снял с себя шнурок и со словами: «Ну вот, на — тебе», — надел мне его на шею и ловко завязал его мне на груди узлом, на редкость красивым и искусным.
Что бы это могло значить?»
Автор книги недоумевал и спрашивал себя, что значит это действие старца? Объяснение пришло гораздо позднее. Связывание поясом символически обозначало темничное заключение Нилуса приблизительно через двадцать лет. В Деяниях пророк Агав поясом апостола Павла связал себе руки и ноги: