Калужский епископ Виталий был враждебно настроен по отношению к покойному старцу Амвросию из-за своего непонимания сущности старчества. Как было сказано, он намеревался вывести насильно из Шамордина о. Амвросия, который там отдавал свои последние силы на созидание этой обители. И застал Старца в гробу.
Такое непонимание постигло и старца о. Анатолия. Это было делом «ревностных» лиц из мирян, которые опасались за судьбу о. Иосифа. Действительно, в эту минуту положение о. Иосифа не имело твердой почвы под ногами, подобно той, какой пользовался о. Амвросий, несмотря на то, что считался по болезни на покое. Его «начальник», о. Анатолий, с благоговением стоял перед ним на коленях и считал себя его учеником. Теперь же отношение к о. Иосифу во многом зависело от о. Анатолия — начальника Скита.
Тихий, смиренный, скромный о. Иосиф казался своим защитникам не способным сам себя отстаивать. В его жизнеописании указано, что еще при жизни старца Амвросия в бытность его в Шамордине прошел слух, будто о. Иосифа хотят выселить из хибарки о. Амвросия. Ему советовали поехать жаловаться Старцу. Однако о. Иосиф отнесся к этим слухам бесстрастно. Эти советы и были началом последующих интриг против скитоначальника о. Анатолия.
Когда же скончался о. Амвросий, эти защитники о. Иосифа нашли способ восстановить епархиального архиерея против о. Анатолия. Из-за того же непонимания природы старчества епископ Виталий не мог судить о духовности о. Анатолия и испытывать к нему уважение подобно епископу Игнатию (Брянчанинову), беседовавшему с ним об умно-сердечной молитве. Он поверил клевете и отстранил о. Анатолия от старчествования в Шамордине и даже запретил ему въезд в обитель.
Батюшка о. Анатолий очень тяжело переживал это запрещение. Выедет, бывало, на большую дорогу до того места, откуда видна Шамординская обитель, и велит кучеру остановиться; посмотрит в ту сторону, слезы потекут из глаз, и велит ехать обратно. Отец Анатолий преставился вскоре после о. Амвросия, в 1894 году.
Когда старца Анатолия не стало, положение его ближайших учеников оказалось нелегким. Отец Варсонофий ушел в затвор. В течение десяти лет он занимался изучением святоотеческой литературы и молитвой Иисусовой. В это время его духовником был о. Нектарий, который так же, как и он, в свое время был духовным сыном старца Анатолия. Об этом о. Нектарий свидетельствует сам в жизнеописании о. Амвросия357. Между ним и о. Варсонофием сохранилась близость до конца жизни.
Когда началась японская война, о. Варсонофий был отправлен на фронт в качестве священника при лазарете имени преподобного Серафима. Как довелось слышать, в Скиту опасались этого умного, образованного и способного быть властным человека. Другой ученик о. Анатолия, о. Венедикт, из белого духовенства, был назначен настоятелем Боровского монастыря358.
Сохранилось в «Прибавлениях к Церковным ведомостям» «Письмо Оптинского иеромонаха Варсонофия с Дальнего Востока на имя Преосвященного Вениамина, епископа Калужского»:
«Охраняемые Божественною благодатью и покрываемые вашими святительскими молитвами и архипастырским благословением, все мы, пятеро калужских иеромонахов, благополучно прибыли 1 мая в город Харбин и ожидаем указаний о дальнейшем нашем назначении из главной квартиры в Ляояне.
В Москве мы все явились к господину прокурору Московской синодальной конторы и, получивши деньги на путевые расходы, а также и документы, выехали из Москвы 13 апреля. Каждому из нас выдан был ящик с церковною утварью и облачением — походные церкви. Выдали также святые антиминсы, миро и освященный елей.
Нас разместили в вагоне второго класса и разрешили иметь при себе ящики с ризницами, ибо мы заявили, что признаем неудобным помещать их в багаже.
В пути нигде не останавливались, следуя, таким образом, безостановочно с 13 апреля по 2 мая — 19 суток. Только пришлось переждать несколько часов при переправе через озеро Байкал — на пароходах. Там мы встретили министра путей сообщений, князя Хилкова, временно проживающего в Иркутске. 25 апреля наш поезд повстречался с другим, на котором отправляли в Россию пленных японцев, в числе 182 нижних чинов и 18 офицеров. Видели их мы только на ходу в окна вагонов. Почти одновременно следовал с нами воинский поезд с сибирскими казаками. Нам сказали, что за ними следуют оренбургские и уральские казаки, в числе восьми полков и двух конноартиллерийских батарей (две дивизии). Донесся слух о первом нашем сражении на реке Ялу.
