В первое время учеников у отца Алексия было немного -всего человек пятнадцать. Все мы к нему очень привязались, полюбили его и часто стали его посещать. Беседы с ним продолжались до полуночи. Мы были усталые после дневных монастырских работ, но отец
Алексий увлекал нас простотой и чистотой своего сердца. В беседе с ним мы забывали об усталости. Когда отец игумен узнал, что ученики отца Алексия не давали ему покоя до полуночи, то приказал батюшке принимать только до десяти часов вечера. После этого часа приходил монастырский сторож и прогонял тех, кого находил в келлии. После этого приказа мы стали бояться сторожа, но уйти от старца, не побеседовав с ним, мы не могли, поэтому, когда било десять часов, мы все прятались, чтобы нас не видел сторож. После обхода мы возвращались к отцу Алексию, он нас с любовью принимал и иногда удерживал до часу ночи, пока все мы не поговорим с ним».
Занятия по Закону Божиему проходили три раза в неделю, по вечерам. Работы в монастыре было много, и молодые монахи, приходившие на занятия в восемь часов вечера, после тяжелого трудового дня, клевали носами. Таких отец Алексий строго наказывал. Так, когда вышеупомянутый монах Владимир не смог ответить на его вопрос, он оставил его стоять до конца занятий. Но, узнав на следующий день, что монах не спит ночами из-за болезни зубов, а днем трудится на тяжелых работах, упал ему в ноги со словами: «Прости меня, отец Владимир, что я нехороший поступок сделал, продержал тебя стоя больше часа». «Батюшка, я ничего против вас не имею, и в мыслях плохого не имел, очень спокойно стоял», - ответил монах.
В 1898-1906 годах имя отца Алексия (Соловьева) было относительно мало известно мирянам. Об этом периоде жизни пустыни монах Владимир вспоминал так: «Памятна для нас жизнь в Зосимовой пустыни с отцом Алексием, когда мир его еще не знал. И как не жить нам было в такое время! Игумен Герман был опытен в духовной жизни, а о старце и говорить нечего. Что бы мы ни делали, все нам казалось раем. Служба в храме совершалась по уставу, мирские люди мало нас посещали, только по праздникам, им мы совсем были не рады. У братии было полное послушание игумену и старцу. Нигде не слышали мы ропота, почему делается так, а не иначе. В трапезной была такая тишина, что и муха пролетит слышно было; каждое слово чтеца доходило до нашего сердца, мы с охотой слушали творения святых отцов и жития святых. Пища приготовлялась для братии вся одинаковая, начиная с игумена. Он любил ходить к нам на общую трапезу. После ужина в церкви или в трапезной в полной тишине совершалось вечернее правило, которое слушала вся братия. Правило кончалось пением, потом братия прикладывались к Смоленской иконе Божией Матери и брали благословение у игумена, а он тихо говорил каждому, какое ему назначалось на следующий день послушание, и потом все в мире расходились по своим кельям».
Братия пустыни любила исповедоваться у отца Алексия. Отец Владимир (Терентьев) вспоминал: «Однажды я пришел к старцу, а он начал мне говорить, что такое старчество. “Преподобные отцы, живя в пустыне, говорят про себя так: в продолжение седмицы диавол жжет нас своим змеиным ядом, а мы в субботу и воскресенье прибегаем на источники водные, исповедаясь у своих старцев и причащаясь Святых Таин, этим мы избавляемся его змеиного яда”.
И мы, живя в Зосимовой пустыни, когда теряем душевный мир, приходим к старцу отцу Алексию и открываем ему свою душу. Старец говорил нам, что мир душевный теряется больше всего от осуждения ближних и от недовольства своей жизнью. Когда мы начинали о ком-нибудь говорить с осуждением, старец нас останавливал, говоря: “Нам до других дела нет, говори только свое, правила святых отцов предписывают останавливать исповедающихся, когда они говорят о других”, - и мы придерживались этого правила, строго следили за собой, чтобы не сказать какое-либо слово о других.
“Кто любит говорить о других, - говорил старец, - про того люди много говорят”. Старец еще говорил нам: “Когда душа обвинит себя во всем, тогда возлюбит ее Бог, а когда возлюбит ее Бог, - тогда что еще нам нужно?”
После исповеди и прочтения над нами разрешительной молитвы у нас опять возвращалась жажда духовной жизни и мир в душе водворялся. Отец Алексий говорил нам: “Хотя Господь во ад меня пошлет за мои грехи, но я все-таки буду благодарить Его всегда за то, что я монах”.
Он и в миру еще читал и любил творения святых отцов и был как бы ненасытен в монашеских подвигах. Его духовная жажда была подобна той, о которой написал святой пророк Давид в псалме: “Возжада душа моя к Богу Крепкому, Живому”, а жажда духовная все монашеские подвиги делала легкими».