Отцовская любовь Генсека была по-партийному скупой. За много лет разлуки он виделся с дочерью только дважды. Один раз помог с путевкой в санаторий. А когда старший сын Евгении Юрьевны — внук Андропова Андрей — собрался поступать в Высшую школу госбезопасности, державный дед, не стал вмешиваться в ход приемных экзаменов. Младший сын Евгении Юрьевны Петя, по ее мнению, внешне удивительно похож на молодого Юрия Владимировича. Однако 23-летний офицер ФСБ внезапно порвал с ведомством, которое когда-то возглавлял дедушка Юра, и, к неудовольствию матери, вступил на шаткую тропу российского бизнеса. Петя ютится на квартире в Москве, но за содействием к дяде Игорю — сыну Андропова от второго брака — принципиально не обращается. Отношения между семьями как-то не сложились. В феврале 1984 Евгения Юрьевна поехала на похороны отца. Во время прощания в Колонном зале Дома Союзов ярославских и московских родственников развели по разные стороны гроба. В этом тоже была большая политика.
В июне 1994 года корреспондент «Комсомольской правды» Александр Гомов взял интервью у сына Юрия Андропова.
«Помнится, где-то в 1977 году Ю. В. мне прямо сказал: «А ты знаешь, Игорь, из Михаила Сергеевича может вырасти крупный работник, крупный руководитель». И добавил: «Если, конечно, ничего не случится». Я спросил: «Что ты имеешь в виду?» Он ответил: «Всякое может быть…». В первую очередь, Андропов не был уверен в том, что Горбачев при принятии решений всегда видит долгосрочную перспективу, в чем сам отец был очень силен. Запомнилась еще одна реплика, услышанная как-то от отца: «Миша, к сожалению, умеет слушать меньше, чем говорить…».
Последним толчком к обострению болезни отца была очень неосторожная и совершенно случайная простуда во время отдыха в Крыму.
Я вернулся из Стокгольма, куда уехал в ноябре 1983 за два дня до смерти отца, в сознании его уже не застал. Все его помощники, с которыми довелось общаться, подчеркивали, что он был дееспособным практически до самого последнего дня — сознание ему отказало, наверное, за неделю до смерти.
Отец не одобрял моего выбора, когда я пошел в Институт международных отношений. Ю. В. представлял меня инженером, врачом. По его настоянию после школы я два года работал учеником лаборанта, потом лаборантом на одном закрытом заводе. То есть «телефонное право» по отношению ко мне не действовало. Естественно, сама фамилия в чем-то и помогала, но сам Ю. В. к этому никакого отношения не имел. А моя сестра Ирина Юрьевна, по образованию филолог, долгие годы работала в различных изданиях. У Ю. В. есть внучка — Татьяна и двое внуков — Дмитрий и Константин.
Последние годы мама также очень тяжело болела, что приносило отцу невероятные страдания.
Даже находясь в тяжелом состоянии, в больнице, Ю. В. звонил ей каждый день. Мама пережила отца на восемь лет — она умерла в 1992 году.
Первая семья отца распалась еще до войны. Его сына Володю я видел всего один раз, да и то при драматических обстоятельствах. Моя мама болезненно воспринимала ситуацию с Володиной неустроенностью, потому что понимала настроение отца. Ю. В. очень переживал, что у сына была безалаберная юность. Как мог, помогал ему — определил в нахимовское, в суворовское училища, в ПТУ. Последнее время Володя несколько раз приезжал из Молдавии, где жил, в Москву и встречался с отцом. По-моему, Ю. В. был доволен разговорами с сыном, и для отца было неожиданностью его кончина — Володя умер в 1975 году».
О дочери от второго брака Андропова рассказали Елена Соловьева и Владимир Клепиков в книге «Заговорщики в Кремле».
«Известный литературный критик, профессор Московского университета Владимир Турбин рассказывал, как однажды на семинаре по русской литературе сообщил студентам о печальной участи старого русского литературоведа Михаила Михайловича Бахтина, автора блестящих и всемирно известных исследований о Достоевском и Рабле. Его звезда начала заново восходить в московских литературных кругах в 60-е годы после почти 30-летней опалы: за участие в религиозно-философском кружке он был в конце 20-х годов сослан в Казахстан на шесть лет, затем перебрался в Саранск, столицу Мордовской автономной республики, откуда перевезти его в Москву не представлялось возможным из-за строгих паспортных правил. Среди слушателей Турбина оказалась студентка Ирина Андропова, дочь председателя КГБ. С его помощью старый и больной Бахтин не только получил московскую прописку и квартиру в писательском комплексе на Красноармейской улице (его называют также «розовым гетто»: дома здесь, действительно, из розового кирпича, а среди живущих в них писателей много евреев), но и был помещен на год в так называемую «кремлевку» — привилегированную больницу для высшего состава советского руководства, хоть и в палату второго сорта, зарезервированную для высоких гостей из стран третьего мира на случай, если они заболеют. В 1975 году, за несколько месяцев до смерти Михаила Михайловича Бахтина, один из авторов этой книги — Владимир Соловьев — побывал у него в гостях, и тот полностью подтвердил рассказ Турбина.