У Василия Петровича культурное хозяйство. Батюшка всем заинтересовался: и колодцем, и машинами - благословлял всё. С любовью и особенным уважением благословил старушку-работницу. Потом еще долго стоял на крылечке... На хуторе он прямо сказал мне: “Не спрашивай меня ни о чем. Сейчас я не могу быть старцем. Ты видишь, я не знаю, как сейчас собственную жизнь управлю”. И я служила ему как дочь и как сиделка, не спрашивая ни о чем. Наш день проходил так: я спала с Феней в том же доме, где он, на другой половине. Утром мы шли на благословение, и я оставалась и поила батюшку чаем. Потом я убирала посуду, а батюшка начинал перекладывать сухарики или сидел в страшной грусти. Однажды я заметила, что он нервничает и как-то не так, как всегда, возится со своими коробочками. Я спросила, что с ним, и [сказала,] чтобы он оставил все это, я уберу. Он сказал очень быстро и жалобно: “Ты думаешь, мне легко? В скиту у меня посетители были, и грядка моя была под окном, и я трудился там. А сейчас что мне делать?” Он никого не хотел принимать, и я умоляла пожалеть приходивших».
Удар, нанесенный старцу, был тяжелейшим. Разгром любимой обители, арест, допросы. Да и переселение за пределы келии было, конечно, нелегко переносить - ведь он не покидал стен скита ровно полвека. Кроме того, нельзя было злоупотреблять гостеприимством Осиных - за укрывательство монаха их могли попросту арестовать. Поэтому при первой же возможности отец Нектарий перебрался в соседнюю Брянскую губернию, к родственнику Василия Петровича - крестьянину-вдовцу Андрею Ефимовичу Денежкину, в деревню Холмищи (ныне Ульяновский район Калужской области). Согласно переписи 1897 года в Холмищах жили 1197 человек, в 2012 году - один...
В Холмищах старец вновь вернулся к своему главному послушанию - утешению и вразумлению людей. Как он сам рассказывал, он сподобился видения всех покойных Оптинских старцев, которые сказали ему: «Если хочешь быть с нами - не оставляй своих духовных чад». С этого времени прием людей возобновился, хотя время от времени представители милиции и ГПУ запрещали это.
Посещавшая старца в Холмищах монахиня Нектария свидетельствовала: «Теперь ему покойнее, чем было в скиту. Последнее время к нему приходило множество народа (главным образом монахини). Он всех исповедовал, благословлял и, по-видимому, очень уставал. Кроме того, был игуменом скита. Теперь ему гораздо покойнее - у него две светлые комнаты и передняя, тепло. Монах варит ему обед, а хозяин читает правило. Посетители бывают очень редко. Он такой светленький, радостный, весь преисполнен благодати. Отблеск этой небесной радости изливается и на приходящих к нему, и все уходят от него утешенные, умиротворенные». Из письма, датированного 1 декабря 1923 года, следовало, что «Дедушка живет в деревне у одного крестьянина. У него две хорошие комнаты: спальня и приемная, с ним живет его келейник Петр, ухаживает за ним и при этом даром работает хозяину. Домик очень хороший: потолки высокие, окна большие, светло и уютно. Дров в лесу сколько угодно: поезжай и набирай. Постоянно Дедушку посещают родные и знакомые со всех сторон. Я прожила у вдовы-матушки вблизи Дедушки два месяца, часто виделась с ним».
Впрочем, сохранились и другие свидетельства, говорящие о том, что дух старца по-прежнему был угнетенным и печальным. «У меня все, все плохо», - повторял он. Навестившей его в июле 1923-го матушке Евгении Рымаренко «он совершенно ничего не говорил, а только повторял: «Я сейчас болен, в изгнании, без своей братии, я сам ничего не знаю и нуждаюсь в поддержке». И тем не менее знавшие о том, что местом его пристанища стали Холмищи, шли к нему за советом и духовным наставлением. Так, оптинский монах Аифал (Панаев), поселившийся после разгрома монастыря в Козельске, приходил к старцу пешком, за шестьдесят верст. Другие паломники - из Москвы, Украины, Белоруссии, -одолевали двадцать пять верст от ближайшей станции, а это было непросто: весной и осенью из-за непролазной грязи, зимой - из-за снежных заносов. На дороге путников часто караулили волки .