В свое время дворец был куплен в казну и долгое время находился в собственности русских императоров. При Николае I петербуржцы впервые услышали легенду о призраке «Белой дамы Аничкова дворца». Поговаривали, что по дворцу бродит неприкаянная душа некой юной смолянки, которую совратил и бросил не то какой-то император, не то великий князь. Будто бы бедная девушка с горя кинулась в Фонтанку и утонула. Если верить городскому фольклору, с призраком несчастной смолянки так или иначе встречались все русские императоры, хотя, по одной из легенд, она покинула дворец еще в начале XIX столетия. Во время пожара Аничкова дворца в 1812 году обыватели будто бы видели, как «из пламени взметнулась огромная фигура в балахоне и растворилась в дыму». Впрочем, могла и вернуться никем не замеченной.
На этом не заканчивается мистика Аничкова дворца. Пушкин в декабре 1833 года записывает в дневник петербургские слухи о мебели из домов, принадлежащих Конюшенному ведомству. Будто бы «мебели вздумали двигаться». Ради спокойствия чиновников был призван даже поп для прочтения соответствующей молитвы, но и тогда «стулья и столы не хотели стоять смирно». В свете поговаривали, что мебель была изъята из Аничкова дворца, и вот теперь «просится в Аничков».
С именем Аничкова дворца связана идиома, внедрившаяся в петербургскую фразеологию в конце XIX века. После целой серии покушений на Александра II, закончившихся злодейским убийством императора 1 марта 1881 года, царское окружение стало более скрытным и, как утверждают очевидцы, подчеркнуто молчаливым. По воспоминаниям современников, при дворе установилось какое-то «умолчание». При Александре III, который постоянно жил в Аничковом дворце, «ни об одном проекте не говорили, об отъездах узнавали накануне и то как-то вскользь». Среди придворных такое поведение называлось «Аничковским молчанием». Термин прижился, стал популярным. Уже другой император, Николай II, однажды во время игры в лаун-теннис получил телеграмму о сокрушительном поражении русского флота под Цусимой. Не читая, он положил телеграмму в карман и продолжал игру. И это в кругу приближенных так же характеризовалось как Lе silence d’Anitchkoff – «Аничковское молчание».
С 1918 по 1935 год в национализированном Аничковом дворце располагался Музей города. Затем дворец был отдан детям. В нем разместился Ленинградский дворец пионеров, который одни называли «Дворцом маленьких большевиков», другие – «Крысятником».
Как мы уже говорили, на территории, ныне занятой ансамблем Аничкова дворца, в середине 1720-х годов располагался полковой двор лейб-гвардии Преображенского полка, переведенного в 1723 году в Петербург из Москвы. Затем последовательно эта земля принадлежала первому обер-полицмейстеру Санкт-Петербурга Антуану Девьеру, откупщику Лукьянову и, наконец, дочери Петра I цесаревне Елизавете Петровне. В 1743 году Елизавета «изустно указала» архитектору М.Г. Земцову и садовнику Стрельнинской мызы англичанину Людвигу Киндеру Таперсу прибыть «ко двору ее императорского величества для разведения в новом ее доме, что у Аничкова мосту, сада».
Окончательный облик сад приобрел в 1820 году. Реконструкция осуществлялась по проекту архитектора Карла Росси. В саду были возведены два изящных павильона, украшенные статуями древнерусских витязей по моделям скульптора С.С. Пименова. По периметру сад был обнесен металлической оградой с воротами со стороны Невского проспекта и площади перед Александринским театром. Ограду и пилоны ворот украшают золоченые изображения имперских орлов. После революции орлы были уничтожены, из-за чего в городе родилась легенда о том, что рисунок ограды был выполнен прусским королем Фридрихом Вильгельмом III, побывавшим однажды в Петербурге с дружеским визитом. А может быть, и были сбиты именно потому, что в воюющей в то время с Германией России уже жила легенда о якобы «немецких орлах».
После революции сад при бывшей царской усадьбе был превращен в общегородской сад Отдыха. Как мы уже знаем, в советские времена и старинный Александровский сад был переименован в сад Трудящихся имени Горького и, надо думать, ленинградцам хорошо памятен анекдот той эпохи: «Где работаешь?» – «В саду Отдыха». – «А отдыхаешь?» – «В саду Трудящихся».