Давая совет, Амвросий возражающим ему нередко пояснял так:
Еще замечательный случай произошел с мастером, изготавливающим иконостас в Оптинском храме. Перед тем как вернуться домой, он пошел к старцу за благословением, но спешил, и лошади уже были готовы. Старец продержал мастера у себя очень долго, еще и на следующий день пригласил зайти – несмотря на спешку, человек этот не решился пойти против воли отца Амвросия. И так продолжалось три дня. Наконец, Амвросий отпустил беднягу:
И таких историй – тысячи за его жизнь. Ежедневная корреспонденция старца была необъятной, от тридцати до сорока писем. Их раскладывали перед ним на полу, и он своим посохом указывал на те, которые требовали немедленного ответа. Часто он знал содержание какого-либо письма еще до его вскрытия.
Поднимался старец на рассвете, в 4–5 утра, и читал утреннее молитвенное правило совместно с келейниками, а потом еще молился в одиночестве. С девяти утра и до обеда Амвросий вел прием монашествующих (в первую очередь) и мирян. Обедал скромно, в два часа дня – потом еще уединялся на 1–1,5 часа. Прием длился после вечерни и до самой ночи, часов до 11. Вечернее молитвенное правило было долгим. Келейник, читавший правило, должен был стоять в другой комнате. Говорят, однажды монах нарушил запрещение и вошел в келью старца – и увидел его голову, объятую неземным светом, от которого слепнешь.
Слухи об удивительном старце доходили и до Льва Толстого. Сестра писателя была монахиней соседнего с Оптиной Шамординского монастыря и рассказывала Льву Николаевичу о чудотворце-современнике. Толстой хмурился, но все же ездил в Оптину и именно к Амвросию. Он пускался с ним в споры, пытался объявить ему свои тезисы, убедить, доказать свою правоту. После первой их встречи в 1874 году Амвросий сказал о графе: «Очень горд», во вторую Толстой пришел в Оптину пешком, в крестьянской одежде, со своим конторщиком и сельским учителем – было это в 1881-м или 1882 году. Граф указал Амвросию на свою крестьянскую одежду. «Да что из этого?» – воскликнул старец с улыбкой.
Самую продолжительную беседу с отцом Амвросием Лев Толстой имел при посещении Оптиной пустыни в третий раз, в 1890 году. За эти пятнадцать лет Толстой стал другим. В первый свой приезд писатель был воодушевлен:
В третий же свой приезд Толстой демонстрировал уже сильную неприязнь к Амвросию и даже называл его «жалким своими соблазнами до невозможности». После смерти Амвросия граф продолжал приезжать в Оптину, но уже к старцу Иосифу. Привязывал коня у скитской ограды и, не заходя ни в скит, ни в монастырь, шел на беседу со старцем, чтобы поспорить с ним о вере. За несколько дней до своей смерти, в 1910 году, Толстой, уже отлученный от церкви официально, все же отправится в Оптину, но зайти уже не решится, протопчется у ворот скита и уедет. Когда в пустыни были извещены, что Толстой умирает, к нему по поручению Синода был направлен старец Варсонофий.
Однако по приезду Варсонофия в Астапово родственники (в частности, дочь Толстого Александра Львовна) не допустили старца к умирающему писателю и даже не известили Толстого о его приезде. В своих воспоминаниях Варсонофий жаловался: