1956 год был очень трудным для Светланы. Актриса Кира Головко вспоминала, как встретила ее в гостях у общих знакомых. Она была «еще более закрытая и зажатая, чем двенадцать лет назад. Выглядела она ужасно и была очень странно одета». Кира играла в какой-то пьесе во МХАТе, и кто-то предложил, что надо всем собраться и пойти на нее посмотреть. Светлана сказала «тихим голосом, в котором явно слышался испуг: «Я не хожу никуда, кроме Консерватории». Кира неожиданно поняла, что в той пьесе есть несколько намеков на культ личности Сталина. В комнате повисла тишина. Светлана сказала, что ей уже пора, и быстро ушла.
В начале 1956 года Светлана начала работать младшим научным сотрудником в Институте мировой литературы имени Горького. Работников института заранее предупредили, что у них будет работать дочь Сталина. «Не поднимайте никакой шумихи, — сказали им. — Относитесь к ней обычно, как ко всем остальным людям». В коридорах и аудиториях института все еще висели портреты Сталина. Когда Светлана неосторожно села под одним из таких портретов, какой-то студент грубо заметил: «Как вы думаете, она похожа на отца? Ну да, чем-то напоминает!»
Один из коллег Светланы по институту имени Горького, Александр Ушаков, был немного знаком с ней, когда она училась в аспирантуре Академии общественных наук. Это было в первые дни «оттепели», когда студенты возбужденно обсуждали проблемы свободомыслия. Ушаков опоздал на общее собрание в Академии. Зал был полон, все места заняты, и вдруг он заметил женщину, которая сидела одна, около нее был свободный стул. Он сел рядом, и они обменялись несколькими словами. Во время перерыва к нему подошел приятель и спросил:
— Ты что, знаешь дочь Сталина?
— Какую еще дочь Сталина?
— Так ты сейчас сидишь рядом с дочерью Сталина!
Когда они снова встретились в Горьковском институте, Ушаков спросил Светлану, помнит ли она его. Он, в свою очередь, запомнил, что она тогда была одета в ярко-зеленое платье. Она ответила: «Я помню зеленое платье, а вас не помню». Они оба рассмеялись. Понемногу Светлана, как выразился Ушаков, возвращалась к жизни. Но он вспоминал ее как очень «скованного человека»:
К концу марта 1956 года все учреждения в стране получили копии «секретного доклада» Хрущева. Когда его прочитали в Горьковском институте, многие были совершенно потрясены этими разоблачениями. Светлана тихо сидела в зале, не говоря ни слова, но то, что ее подвергли остракизму, становилось ясно с первого взгляда. Когда вскоре ставший популярным писатель Андрей Синявский, который тоже работал в институте, подошел к Светлане после собрания, чтобы подать ей пальто, она расплакалась.