Поцелуи на глазах у посторонних никак не вписывались в достаточно чопорный имидж Светланы, к которому привыкло ее окружение. Степан Микоян ничего не писал в своих воспоминаниях о таком поведении своей подруги детства. Но, что бы ни произошло за столом, Светлана и Самойлов ушли с вечеринки вместе. На следующее утро в кабинете Грибанова раздался звонок. Это был Самойлов, который хихикал в трубку:
—
Но вскоре то, что, по выражению Грибанова, началось как «шутка», превратилось в роман. Самойлов не устоял перед умом и искренностью Светланы. Должно быть, она тоже находила его интересным: лирический поэт, член левого крыла авангарда, как и она, больше служивший музам, чем политике.
Светлана все еще боялась посторонних. Грибанов вспоминал случай, который произошел, когда он, Давид Самойлов и Светлана были в гостях у друга Бориса Так Меламида. Это было пятого марта, в годовщину смерти Сталина. Пока все осуждали «вождя», что в то время было неотъемлемой частью любого разговора, Светлана молчала. Когда они вышли на лестницу, жена Меламида спросила Грибанова, кто эта милая женщина, которая пришла с ним. У нее чуть не случился сердечный приступ, когда она услышала, что это была Светлана Аллилуева.
На следующее утро она позвонила Грибанову и начала истерически кричать, что он должен был их предупредить. Она и ее муж не спали всю ночь, пытаясь вспомнить, что они наговорили. Грибанов попытался успокоить женщину, объяснив, что Светлана — очень культурная женщина, и ее не задевает то, что говорят об ее отце. Но привычный страх так въелся в души людей, что супруги Меламид не успокоились.
Любовники встречались в квартире Светланы или на ее маленькой даче в Жуковке. Иногда Борис Грибанов бывал с ними. Обычно они обедали втроем в ресторане московского ипподрома в дни, когда там не было скачек, или в ресторане «Северный» в Марьиной роще. Девятого мая Грибанов и Самойлов встречались со своими военными друзьями в ресторане «Берлин», чтобы отметить День победы. В этот раз празднование уже заканчивалось, когда Самойлов сказал: «Боря, я думаю, будет правильно закончить этот так хорошо начавшийся день с дочкой генералиссимуса».
Самойлов и Грибанов взяли бутылку коньяка и приехали в квартиру Светланы, где долго сидели за разговорами. Грибанов заметил, что нигде нет ни одного портрета Сталина (к тому времени она убрала маленькую фотографию отца в серебряной рамке). На стене висела только большая фотография ее матери. Хотя им было очень интересно, Грибанов и Самойлов никогда не расспрашивали Светлану об отце и редко обсуждали его при ней.
Тем не менее, в отношениях Светланы с Самойловым была одна проблема — она хотела выйти за него замуж. Она приезжала в издательство, где работал Борис Грибанов, он садился в ее машину, и они ехали за город. При этом каждый раз происходил один и тот же разговор:
—
—
Позже Грибанов писал: «Светлана была очень эмоциональной, влюбчивой женщиной, готовой полностью отдаваться каждому своему любовному приключению, готовой пожертвовать всем ради любимого человека. Но в то же время у нее была навязчивая идея: мужчина, которого она любит, должен на ней жениться. Это очень усложняло отношения с ней».