«Величественный порядок и отражение какой-то неземной красоты во всей скитской обители часто привлекали детское мое сердце к духовному наслаждению, о котором вспоминаю и теперь с благоговением и считаю это время лучшим временем моей жизни. Простота и смирение в братиях, везде строгий порядок и чистота, изобилие самых разнообразных цветов и благоухание их, и вообще какое-то чувство присутствия благодати невольно заставляло забывать все, что вне обители этой. В церкви скитской мне случалось бывать преимущественно во время обедни. Здесь уже при самом вступлении, бывало, чувствуешь себя вне мира и превратностей его. С каким умилительным благоговением совершалось священнослужение! И это благоговение отражалось на всех предстоящих до такой степени, что слышался каждый шелест, каждое движение в церкви. Клиросное пение, в котором часто участвовал сам начальник Скита о. Антоний, было тихое, стройное и вместе с тем величественное и правильное, подобного которому после того я нигде уже не слыхал, за всем тем, что мне очень часто приходилось слышать самых образованнейших певчих в столицах и известнейших певцов Европы. В пении скитском слышались кротость, смирение, страх Божий и благоговение молитвенное, между тем как в мирском пении часто отражается мир и его страсти, — а это уже так обыкновенно! Что ж сказать о тех вожделеннейших днях, когда священнодействие совершалось самим начальником Скита о. Антонием? В каждом его движении, в каждом слове и возгласе видны были девственность, кротость, благоговение и вместе с тем святое чувство величия. Подобного священнослужения после того я нигде не встречал, хотя был во многих обителях и церквах»123.
Отец Антоний пробыл начальником Скита 14 лет, когда епископ Калужский Николай, враждебно относившийся к старчеству и причинивший много горя о. Моисею, назначил его родного брата о. Антония настоятелем Малоярославецкого Николаевского монастыря. В это время о. Антоний переступил сорокалетний возраст, и на ногах его открылись раны, как последствие его подвигов и трудов. Ему было крайне тяжело расставаться с созданным его трудами уединенным Оптинским Скитом, где его окружала всеобщая любовь, со своим братом, который был его старцем. Начальствование в чуждых ему условиях жизни являлось для него тягчайшим и величайшим крестом. Однажды, пишет он, «сильно уны во мне дух мой, и, воздремавшись, вижу в тонком сне лик отцов, и один из них, якобы первосвятитель, благословляя меня, сказал: ведь ты был в раю, знаешь его, а теперь трудись, молись и не ленись! И вдруг, проснувшись, ощущаю в себе некое успокоение. Господи! Даруй мне конец благий!»
Больной настоятель игумен Антоний часто мог только лежа давать приказания и был не в состоянии следить за точным исполнением своих распоряжений. Он многократно просил отпустить его на покой, но епископ Николай был неумолим.
Четырнадцать лет продолжалось его злострадание. Иногда он должен был ездить в Москву за сборами пожертвований на окончание монастырских построек. В Москве о. Антоний пользовался особым вниманием со стороны митрополита Филарета, который понимал духовное устроение смиренного подвижника-страдальца. Он полюбил его и приглашал его к сослужению с собой, оказывал ему знаки отеческой милости и утешал его беседами. Наконец, митрополит вступился за него перед епархиальным архиереем, который, наконец, согласился его отпустить на покой в Оптину Пустынь, что состоялось в 1853 году. Возвратившись в Оптину Пустынь, о. Антоний прожил еще 12 лет.
В течение этого времени он жил в Оптиной Пустыни как лицо, находящееся «на покое», и не вмешивался во внутренние дела монастыря и Скита и даже избегал давать советы. Только утешал в скорбях приходивших к нему.
Ему пришлось пережить кончину брата своего схиархимандрита Моисея, что было для него тяжелой потерей. Два месяца провел он в затворе в непрестанной молитве за усопшего. Он не мог говорить о брате без слез и потому отказывался сообщить сведения, ему известные, о сокровенной, внутренней жизни покойного. Это осталось нераскрытым.
У о. игумена Антония было много духовных чад среди мирян, многие знали его в бытность его настоятелем Малоярославецкого монастыря. После кончины удалось собрать и издать сборник его писем к этим лицам. Выбраны были письма, содержавшие общее назидание. «Письма эти, — говорит его жизнеописатель, — отличались теми же достоинствами, как и устные его беседы, тем же естественным красноречием и сладкоречием, тою же назидательностью и своеобразной выразительностью и силою. Слог его совершенно особенный, свойственный одному о. Антонию. В них ясно отпечатлелись все высокие душевные свойства любвеобильного Старца. Читая их, как будто слышишь саму его беседу». Отец Антоний обладал даром прозорливости и часто, не ожидая получения писем, писал утешения и наставления. Отец Макарий — Оптинский старец — называл о. Антония «и по сану и по разуму старшим и мудрейшим себя».