Известно, что прусский король Фридрих II и австрийская императрица Мария-Терезия, родственники герцога Антона-Ульриха, просили Елизавету о его освобождении. Русская императрица, отпуская герцога, не соглашалась отпустить его супругу Анну, а герцог не хотел покидать Россию без нее. Фридрих II и Мария-Терезия, судя по некоторым источникам, получив в ответ на свои просьбы отказ, поручили австрийскому посланнику в Петербурге маркизу Ботте попытаться организовать свержение Елизаветы. Заговор раскрыли, и это заставило самодержицу не только изменить первоначальное намерение, но и усилить строгости против именитых узников. Через год их всех тайно вывозят в Раненбург, Липецкой губернии. Летом 1744 года семейство Брауншвейгское отправляют в Соловецкий монастырь, а оттуда на север, в Холмогоры, Архангельской губернии. Здесь принцесса Анна Леопольдовна и принц Антон-Ульрих и нашли свой последний приют.
Семейство Анны Леопольдовны, прибывшее в Холмогоры без первенца Иоанна, жило в бывшем архиерейском доме, ставшем для него тюрьмой: здесь оно томилось почти четыре десятилетия. Большой двор каменного дома был обнесен высокой оградой, вокруг которой днем и ночью ходили часовые. Арестанты никого не видели, кроме обслуживавших их солдат, к ним даже врача допускали только с личного разрешения губернатора. Местные жители догадывались, что в архиерейском доме живут какие-то «важные арестанты», но какие именно, никто не знал. Единственным развлечением для заключенных было чтение церковных книг, игра в карты и шашки, да катание в шлюпке по пруду, находившемуся в ограде, перед домом. На содержание семейства ежегодно отпускалось 10–15 тысяч рублей по усмотрению архангельского губернатора.
Шло время. Один серый день сменялся другим. В марте 1745 года бывшая правительница родила сына Петра, а через год появился третий сын — Алексей. Анна Леопольдовна, у которой после переворота стало резко ухудшаться здоровье, не перенесла рождения последнего ребенка и 7 марта 1746 года, в возрасте двадцати восьми лет, умерла от горячки. Ссыльный супруг остался один с четырьмя детьми. По воспоминаниям Екатерины II, императрица Елизавета Петровна очень плакала, когда получила известие о смерти Анны Брауншвейгской, скончавшейся так рано. Она приказала, чтобы ее тело привезли в Петербург для торжественных похорон. Принцессу Анну похоронили в Александро-Невской лавре, между ее бабкой, царицей Прасковьей Федоровной, и ее матерью, принцессой Мекленбургской.
Права была юная принцесса Анна Леопольдовна, когда упорно говорила о своем нежелании выходить замуж за наследника престола принца Антона-Ульриха. Несчастья Анны Леопольдовны как бы по наследству перешли ко всей ее семье.
Ее супруг, принц Антон-Ульрих, терпеливо перенося участь безвинного арестанта, прожил в Холмогорах тридцать лет, до самой старости, убивая бесконечные дни вечной ссылки прогулками с детьми по саду.
Когда в 1762 году российский трон заняла Екатерина II, она предложила ссыльному принцу свободу — выехать из России, но при одном условии — только без детей. Антон-Ульрих отказался, так как в ссылке ослеп, а без детей старику и свобода не казалась таковой. Так и умер он в Холмогорах.
После смерти Антона-Ульриха дети Анны Леопольдовны — два принца (Петр и Алексей) и две принцессы (Екатерина II Елизавета), долго еще оставались в Холмогорах арестантами. Привезенные туда младенцами, они выросли в неволе и, кроме охранявших их солдат, никого не видели, ничего не знали.
В 1780 году родная сестра несчастного принца Антона-Ульриха, вдовствующая датская королева Юлиана-Мария исходатайствовала у российской императрицы свободу своим племянникам и племянницам. Эта свобода была для детей Анны Леопольдовны и Антона-Ульриха запоздалой и жестокой, фактически она была продолжением плена, поскольку они были совершенно не приспособлены к самостоятельной жизни в условиях свободы. Их отправили в небольшой приморский город Горсенс в Ютландии. Императрица Екатерина II назначила для содержания пленников поневоле 32 000 рублей в год, и вся эта сумма полностью выделялась российской казной вплоть до смерти последней принцессы Екатерины в 1807 году. На деньги Петербургского двора в этом городе были куплены два самых лучших дома и перестроены в одно здание для родственников королевской фамилии. Деньги, выдаваемые Россией, вручались не прямо в руки пленников, а через датское правительство их гоф-интенданту. Последний был обязан ежегодно представлять обстоятельный отчет об использованных суммах. Более того, за содержанием своих родственников наблюдала сама вдовствующая королева Юлиана-Мария, а после ее смерти эта обязанность перешла к сыну, наследному принцу Фридриху.
