Бернадот не участвовал в перевороте 18 брюмера, однако Наполеон его пощадил. Став императором, он сделал бывшего противника князем Понтекорво и маршалом, и тот храбро сражался при Аустерлице, разбил пруссаков при Галле и Любеке. Проявленное им тогда милосердие к шведским военнопленным не было ими забыто. В сражении при Ваграме саксонский корпус, которым командовал Бернадот, был почти весь перебит, и он вышел из доверия у Наполеона, отправившего его в Париж. Тогда-то ему и предложили выставить свою кандидатуру на выборах нового наследного принца Швеции. К всеобщему удивлению, Генеральные штаты в Оребро выбрали его, и 5 ноября 1810 года бездетный король Карл XIII провозгласил его своим наследником под именем Карл Юхан. Наполеон дал согласие на отъезд Бернадота в надежде получить надёжного союзника на севере Европы; шведы же мечтали с помощью Франции вернуть Финляндию, отошедшую к России в 1809 году. Однако Карл Юхан, реально управлявший страной от имени приёмного отца, предпочёл отказаться от Финляндии ради мира с Россией, порвал с Наполеоном, когда тот занял шведскую Померанию, и сблизился с Александром I.
Дезире с сыном приехала в Стокгольм в январе 1811 года, однако через пять месяцев одна вернулась в Париж: ей было скучно при строгом шведском дворе, да и суровый местный климат пришёлся ей не по душе, к тому же она подхватила там какую-то кожную болезнь. С другой стороны, она выведывала намерения французского императора и передавала свои с ним разговоры мужу, который называл её «своей шпионочкой». Через неё же Наполеон передавал Бернадоту собственные послания. Тот отказался от участия в походе на Россию, примкнул к Шестой коалиции, с победой вернулся в Швецию, да ещё и овладел Норвегией в 1814 году; после Стадией Швеция соблюдала нейтралитет.
И вот теперь Дезире, привязанная к старшей сестре и не желавшая расставаться ни с ней, ни с Парижем, взывала о помощи. Любезный герцог де Ришельё написал ей обнадёживающее письмо, сообщив, что король разрешил Жюли остаться во Франции до наступления лета, а затем отправился к просительнице лично — «как раньше было принято у всех министров в отношении светских женщин, а в моё время этот обычай сохранил только господин де Ришельё», напишет в мемуарах графиня де Буань, дочь дипломата маркиза д’Осмона. Просительница, которой тогда не исполнилось и сорока, была очарована обходительным и привлекательным пятидесятилетним мужчиной и пригласила его как-нибудь отужинать с ней. Очень может быть, что она отнесла учтивость министра на счёт своей собственной привлекательности, и впоследствии это создало герцогу множество проблем...
В Париже Ришельё по-прежнему оставался белой вороной. Он, привыкший улаживать дело миром даже с коварными горцами, прибегая к репрессиям лишь в самом крайнем случае, никак не мог согласиться с апологетами «белого террора», желавшими «вернуть всё, как было, в один день», как будто и не было двадцати пяти лет Революции и Империи. В январе 1816 года Дюк писал аббату Николю: «Я не могу ни заставить себя услышать, ни понять язык, на котором со мной говорят, и, возможно, я делаю ещё хуже, не бросившись в объятия одной партии, увлекая другую партию на эшафот, о чём меня просят всякий день». Это было хуже прежде всего для него самого: глава правительства не сделался политическим лидером; его политика умеренности не встречала понимания ни у правых (ультрароялистов), ни у левых (либералов). Армандина рассорилась со множеством своих друзей-роялистов из-за убеждений брата, но и она допускала, что Арман, не испытавший в полной мере гонений со стороны революционеров, не понимает заключённой в них угрозы. «Он опасается неумеренности роялистов, чьё безрассудство очевидно, и не распознаёт коварства, совершенно чуждого его душе». Тяжелее всего для герцога было не находить понимания среди людей своего сословия, среди которых он вращался. «Здесь нет никого, кому я мог бы открыть моё сердце, и от этого я ещё более несчастен», — жаловался он Николю.
Более того, король, уважавший главу правительства как человека и считавший необходимым как министра, не любил его: Людовику было не по себе от искренности и «неожиданной резкости» Ришельё. Герцог не был царедворцем; он привык общаться с государем, чтобы решать с ним деловые вопросы, а не выражать сочувствие по поводу приступов подагры или лёгкого недомогания. В письмах, разумеется, он неизменно справлялся об августейшем здоровье и уверял в своём полнейшем почтении, однако в разговорах ему недоставало той гибкости и психологической проницательности, которой славился его знаменитый предок.