Дмитрий был композитором, но так как он отказался вступить в коммунистическую партию, его оперы нигде не исполнялись, и ему приходилось зарабатывать на жизнь уроками музыки. Но, как бы ни была тяжела жизнь семьи Толстого, они устраивали вечера, где читали стихи дореволюционных поэтов и обменивались самиздатовской литературой, например, запрещенными стихами Иосифа Бродского, восходящей звезды ленинградской поэзии. (В 1964 году Бродского судили за тунеядство и приговорили к пяти годам ссылки).
На одном из таких вечеров Светлана познакомилась с Лилией Голден. Голден рассказывала о своих первых впечатлениях от Светланы: «Рыжеволосая, с зелеными глазами невысокая женщина, очень просто одетая. В ее глазах отражалась огромная боль знания, недоступного другим». Лилия Голден работала в Институте стран Африки и была автором множества книг и статей по африканской музыке и культуре. Еще она была первым ученым, который занимался исследованием обедневших изолированных групп чернокожих потомков бывших рабов, осевших на Кавказе, существование которых тщательно замалчивалось советской властью. Ее история была необычна. Отец Лилии, Оливер Голден, был чернокожим американцем, который после Первой мировой войны уехал из штата Миссисипи и, в конце концов, осел в Чикаго, где стал убежденным марксистом. Он всегда говорил: «Первый белый американец, который пожал мне руку как равному, был коммунистом». Мать Лилии, Берта Бьялек, была еврейского происхождения. Так как в те времена в Америке брак людей, принадлежащих к разным расам, был невозможен, в 1931 году они уехали в Советский Союз, мечтая о справедливом обществе, где все были бы равны. Сами они счастливо избежали репрессий тридцатых годов, но беспомощно наблюдали, как исчезали друзья. Их единственный ребенок, Лилия, одна из немногих чернокожих в Москве, выросла в Ташкенте.
В тот вечер, когда Лилия познакомилась со Светланой в квартире Толстого, вся компания нанесла визит профессору Мануйлову, литературному критику и историку русской поэзии, который жил в коммунальной квартире по соседству. Его единственная комната была заполнена книгами, книги лежали и в коммунальной ванной. Он встретил их доброжелательно, разжег самовар, много говорил о Петербурге в старые времена, а потом вдруг обратился к Лилии и Светлане:
— Покажите мне ваши ладони, иногда мне удается читать будущее по рукам.
Осмотрев руку Светланы, профессор заявил, что он «никогда не видел такой руки. Эта рука, без сомнения, принадлежит необычному человеку». Лилия запомнила предсказание, которое Мануйлов сделал для Светланы: «Ваша жизнь делится на три части. Первая, давно закончившаяся, была безоблачной. Сейчас у вас трудные времена. Вы боретесь за то, чтобы быть вместе с иностранным принцем… он заболеет и умрет. Потом начнется третий период, когда вы пересечете океан и уедете далеко». Сверхъестественным образом он описал все течение жизни Светланы. Она встретит принца, индийского раджу по имени Браджеш Сингх и пересечет океан.
Лилии стало любопытно. «Кто такая эта Светлана?» — спросила она Татьяну Толстую и в ответ услышала: «Светлана Аллилуева, дочь Сталина». Лилия была в шоке: «Очень трудно было представить эту просто одетую, скромную молодую женщину… в том ужасе, который окружал ее всю жизнь».
Узнав Светлану получше, Лилия говорила: «Она была очень добрым, мягкосердечным человеком… Она никак не могла избавиться от своего ужасного наследства. Она просто не могла доверять людям; да и как можно кому-то верить, если ты дочь Сталина?» Люди обращались с ней «как с каким-то выродком». Светлана просто влюбилась в Лилию за то, что та принесла в ее жизнь радость и свежесть. Они часто зарывались в огромную коллекцию африканских народных песен и спиричуэлс, собранную Лилией. Она научила сына Светланы Иосифа танцевать твист.
Вскоре Лилия начала понимать, что это значит — быть дочерью Сталина. На улицах многие оглядывались на нее, потому что у нее была черная кожа. Но на Светлану часто смотрели с презрением. Когда она пыталась устроиться на работу в Институт мировой экономики и международных отношений — она хотела уйти из Горьковского института, — Светлане удалось продержаться всего несколько дней. «Каждые пять минут дверь открывалась и кто-нибудь бросал на нее взгляд, полный неприкрытой ненависти. То, что эти чувства были направлены против ее отца, было неважно».
Лилия также знала Ивана Сванидзе как талантливого ученого в Институте стран Африки. Она считала, что, выйдя за него замуж, Светлана искала прощения за сталинские преступления. Она рассказывала своей дочери, Елене Ханге: «(Светлана) делала все, чтобы помочь людям, вернувшимся из лагерей в конце пятидесятых». Лилия понимала, почему их отношения оборвались так внезапно. Сванидзе был сломлен своими тюремными заключениями, с ним невозможно было жить. По словам Лилии, у него появились страхи, связанные с его еврейским происхождением, и он снял все портреты своей матери-еврейки со стен. Он ненавидел сына Светланы Иосифа, потому что мальчик был наполовину евреем.
