Многие из будущих и уже состоявшихся героев нестеровских портретов приходили к художнику на Сивцев Вражек, но зачастую в качестве гостей, ибо особых условий для работы не было. Не зря художник шутил, что начинает обычно работать «от печки», что было сущей правдой. Та самая печка была частью интерьера в комнате Нестерова. Евгений Лансере 11 октября 1937 года записал в дневнике: «Вечером приглашен к Нестеровым… Там Шадр, Юдин, Рожнов и др. М[ихаил] В[асильевич] показывал новый портрет, только что им законченный – Шмидта; М[ихаил] В[асильевич] считает, что его лучший <портрет> это – „Братья Корины“, потом как будто – этот, Шмидта; говоря о себе, сказал, что давно, еще в 12 или 14 году, осознал, что живописец не для стен, хотя почти всю жизнь провел на лесах… Согласился, что лирический пейзаж ему удавался, но теперь уже не может его повторить, ибо без сюжета, фигур – не то, недостаточно; а для фигур, для их чувства, их настроения уже чувствует себя старым. Так что остается один портрет; и то – только мужской, женских, кроме одного этюда, больше писать не будет – тоже из-за возраста. Писать пейзаж с натуры кажется ему скучноватым, да и боится простудиться. О портрете Шмидта – что это было желание Ш[мидта]; он, Нестеров, ставит только два непременных условия – пишет все только с натуры; портрет – его собственность. Условия писания были очень трудны – в деловом кабинете Ш[мидта] среди постоянных посетителей и докладов. Было 19 сеансов. Делал вначале наброски – позы; отношение Шмидта – самое внимательное».
В 1938 году в квартиру на Сивцевом Вражке пришли совсем другие люди – непрошеные гости. Дочь и зять художника были арестованы. Виктор Николаевич Шретер (1885 г. р.), из семьи обрусевших немцев, был известным юристом, выпускником юридического факультета Московского университета. На момент ареста в январе 1938 года он работал в Институте народного хозяйства им. Г.В. Плеханова. Его расстреляли в апреле того же года, а его жене, Ольге Михайловне Нестеровой-Шретер, дали восемь лет лагерей. Хорошо хоть, не тронули их дочь Ирину (1918 г. р.), внучку Нестерова. В 1941 году – в тот год Нестеров получил Сталинскую премию – с огромным трудом удалось выручить из неволи Ольгу Михайловну, отбывавшую наказание сперва в Акмолинском АЛЖИРе (лагерь жен изменников родины), а затем в казахстанском Джамбуле. И до ареста ее здоровье оставляло желать лучшего, а в Москву, на Сивцев Вражек, она вернулась инвалидом, на костылях, сопровождавших ее всю оставшуюся жизнь (а прожила она почти девяносто лет). Увы, даже такой печальный исход можно было воспринимать как везение. Ольга Михайловна работала в области прикладного искусства, создавая удивительные картины не кистью, а иголкой и ниткой.
В свое время судьба свела меня с внучкой Нестерова – Марией Ивановной Титовой (1937–2022), наследницей художника по линии его гражданской жены. Дело в том, что между первым и вторым официальными браками Михаила Васильевича у него от учительницы немецкого языка Юлии Николаевны Урусман родились дети – Михаил, Федор и Вера. Всех их он признал. У Веры Михайловны, прожившей почти сто лет, с 1899 по 1998 год, было две дочери – Татьяна, ставшая химиком, и Мария, профессор медицины, работавшая в Институте хирургии имени Вишневского. Мария Ивановна очень хорошо запомнила Нестерова-дедушку и какие-то на первый взгляд мелочи, а на самом деле важные детали, помогающие создать неповторимый образ художника. Например, любимыми цветами Михаила Васильевича были ландыши, пионы и васильки. И как бы голодно и холодно ни было, в доме Нестеровых свято соблюдали традицию русского гостеприимства – всегда приглашали за стол, поили чаем независимо от ранга, должности или происхождения. Знатных и известных людей приходило немало: певцы Большого театра Ксения Держинская и Пантелеймон Норцов, актриса Малого театра Евдокия Турчанинова, пианист Константин Игумнов, переводчица Татьяна Щепкина-Куперник, внуки поэта Тютчева, супруга Горького Екатерина Пешкова и многие другие, лучшие представители творческой и научной интеллигенции, образы которых художник запечатлел на своих картинах. Весело отмечали и праздники. «Сейчас начнется на Сивцевом всякая кутерьма – елка и прочее, что связано с Рождеством, со святками», – читаем мы в письме художника к А. Турыгину от 4 января 1928 года.