Бернадот не участвовал в перевороте 18 брюмера, однако Наполеон его пощадил. Став императором, он сделал бывшего противника князем Понтекорво и маршалом, и тот храбро сражался при Аустерлице, разбил пруссаков при Галле и Любеке. Проявленное им тогда милосердие к шведским военнопленным не было ими забыто. В сражении при Ваграме саксонский корпус, которым командовал Бернадот, был почти весь перебит, и он вышел из доверия у Наполеона, отправившего его в Париж. Тогда-то ему и предложили выставить свою кандидатуру на выборах нового наследного принца Швеции. К всеобщему удивлению, Генеральные штаты в Оребро выбрали его, и 5 ноября 1810 года бездетный король Карл XIII провозгласил его своим наследником под именем Карл Юхан. Наполеон дал согласие на отъезд Бернадота в надежде получить надежного союзника на севере Европы; шведы же мечтали с помощью Франции вернуть Финляндию, отошедшую к России в 1809 году. Однако Карл Юхан, реально управлявший страной от имени приемного отца, предпочел отказаться от Финляндии ради мира с Россией, порвал с Наполеоном, когда тот занял шведскую Померанию, и сблизился с Александром I.
Дезире с сыном приехала в Стокгольм в январе 1811 года, однако через пять месяцев одна вернулась в Париж: ей было скучно при строгом шведском дворе, да и суровый местный климат пришелся ей не по душе, к тому же она подхватила там какую-то кожную болезнь. С другой стороны, она выведывала намерения французского императора и передавала свои с ним разговоры мужу, который называл ее «своей шпионочкой». Через нее же Наполеон передавал Бернадоту собственные послания. Тот отказался от участия в походе на Россию, примкнул к Шестой коалиции, с победой вернулся в Швецию, да еще и овладел Норвегией в 1814 году; после Стадией Швеция соблюдала нейтралитет.
И вот теперь Дезире, привязанная к старшей сестре и не желавшая расставаться ни с ней, ни с Парижем, взывала о помощи. Любезный герцог де Ришельё написал ей обнадеживающее письмо, сообщив, что король разрешил Жюли остаться во Франции до наступления лета, а затем отправился к просительнице лично — «как раньше было принято у всех министров в отношении светских женщин, а в мое время этот обычай сохранил только господин де Ришельё», напишет в мемуарах графиня де Буань, дочь дипломата маркиза д’Осмона. Просительница, которой тогда не исполнилось и сорока, была очарована обходительным и привлекательным пятидесятилетним мужчиной и пригласила его как-нибудь отужинать с ней. Очень может быть, что она отнесла учтивость министра на счет своей собственной привлекательности, и впоследствии это создало герцогу множество проблем…
В Париже Ришельё по-прежнему оставался белой вороной. Он, привыкший улаживать дело миром даже с коварными горцами, прибегая к репрессиям лишь в самом крайнем случае, никак не мог согласиться с апологетами «белого террора», желавшими «вернуть всё, как было, в один день», как будто и не было двадцати пяти лет Революции и Империи. В январе 1816 года Дюк писал аббату Николю: «Я не могу ни заставить себя услышать, ни понять язык, на котором со мной говорят, и, возможно, я делаю еще хуже, не бросившись в объятия одной партии, увлекая другую партию на эшафот, о чем меня просят всякий день». Это было хуже прежде всего для него самого: глава правительства не сделался политическим лидером; его политика умеренности не встречала понимания ни у правых (ультрароялистов), ни у левых (либералов). Армандина рассорилась со множеством своих друзей-роялистов из-за убеждений брата, но и она допускала, что Арман, не испытавший в полной мере гонений со стороны революционеров, не понимает заключенной в них угрозы. «Он опасается неумеренности роялистов, чье безрассудство очевидно, и не распознаёт коварства, совершенно чуждого его душе». Тяжелее всего для герцога было не находить понимания среди людей своего сословия, среди которых он вращался. «Здесь нет никого, кому я мог бы открыть мое сердце, и от этого я еще более несчастен», — жаловался он Николю.
Более того, король, уважавший главу правительства как человека и считавший необходимым как министра, не любил его: Людовику было не по себе от искренности и «неожиданной резкости» Ришельё. Герцог не был царедворцем; он привык общаться с государем, чтобы решать с ним деловые вопросы, а не выражать сочувствие по поводу приступов подагры или легкого недомогания. В письмах, разумеется, он неизменно справлялся об августейшем здоровье и уверял в своем полнейшем почтении, однако в разговорах ему недоставало той гибкости и психологической проницательности, которой славился его знаменитый предок.