Когда «Воспоминания» вышли в 1946 году, поначалу они были приняты благосклонно. Но родные предупреждали Анну не напрасно. В мае 1947 года в «Правде» появилась разгромная статья П. Федосеева, озаглавленная «Безответственные мысли». Это нападение повергло Аллилуевых в шок. Федосеев развенчивал «воспоминания маленьких людей о великих деятелях, с которыми им довелось встречаться». По этому поводу автор статьи даже привел слова Горького о Толстом: «стоит величественная колокольня, и колокол ее неустанно гудит на весь мир, а вокруг бегают маленькие, осторожные собачки, визжат под колокол и недоверчиво косятся друг на друга — кто лучше подвыл?» Анну выставили такой собачкой, подвывающей Сталину, и обвинили в распространении информации об интимной жизни семьи вождя. Официальные жизнеописания и славословия в его честь писались в обязательном порядке, но писать о мелких подробностях жизни Сталина было запрещено. Он не желал, чтобы какие-то личные рассказы бросали тень на его иконный лик.
Но в своей статье Федосеев пошел дальше:
Чтобы защитить «свободную, радостную и правдивую жизнь», которую олицетворяло советское общество, Анна была приговорена к десяти годам тюремного заключения. Трудно поверить, но население Советского Союза, в большинстве своем оболваненное пропагандой и оторванное от всего остального мира, верило, что живет именно такой жизнью.
Самой большой ошибкой «Воспоминаний» Анны было то, что она не поместила Сталина в центр повествования. Поэтому ее изображение революции было неправильным:
В конце статьи рецензент приходит к выводу, что Анна — «страдающая нарциссизмом» «авантюристка», которая «занимается саморекламой», чтобы получить гонорары побольше. Читателям советовалось обращаться к «научно-разработанной» «Краткой биографии» Сталина (в которой каждое слово было одобрено им самим). Светлане казалось, что в этой разгромной рецензии видны едкие фразы ее отца.
Позже Светлана объясняла: «Моему отцу было нужно… выбросить всю историю, раз и навсегда избавиться от тех, кто стоял на его пути, кто действительно основал и создал партию и осуществил революцию». Анна была не права, рассказывая о Сталине как о простом человеке. В его сознании он уже давно был историческим персонажем.