Дюк был неспособен понять алчность ультраправых, а те не могли понять его. «Он думал, что мы безумны, — пишет в мемуарах Виллель. — Разорённый Республикой, возвратившийся во Францию после длительного изгнания, не сумев вернуть ничего из огромных владений своей семьи, проходя, как любой другой, мимо своего разрушенного замка и проданного особняка, не добившись даже возвращения картин и книжных собраний, на которые он указал как на принадлежащие ему, из музеев и прочих общественных мест, он не понимал, что столь естественное чувство боли, какое должны были испытывать жертвы подобных несчастий, могло породить... жажду мести... более способную навлечь новые беды, чем вознаградить за уже перенесённые».
Бескорыстие и самоотречение герцога в самом деле было трудно понять, поэтому молва приписывала ему миллионные доходы в виде ренты, тогда как на самом деле в августе 1816 года Ришельё отказался от переговоров с владельцами его бывшего имущества, не желая использовать служебное положение. Он признался Деказу, что на нём ещё висит и 40 тысяч ливров долга: «Я придаю большое значение возможности сказать, что у меня ничего нет, но что я уплатил все долги моей семьи до последнего су».
В первый раз вопрос о роспуске палаты депутатов был поставлен 6 августа на заседании правительства в присутствии короля. Король думал, взвешивал, колебался и решился только 27-го: палата будет распущена 5 сентября. Это решение держалось в секрете до последнего часа: Деказ сообщил о нём вождям партии «умеренных» 3 сентября, а Ришельё ничего не сказал даже Армандине, у которой провёл следующий вечер. Высочайший ордонанс о возвращении к положениям Хартии, касающимся выборов депутатов, был опубликован в «Универсальном вестнике» 7 сентября и произвёл эффект разорвавшейся бомбы. Вечером того же дня Ришельё был в Опере; ему устроили овацию. Впрочем, герцог писал маркизу д’Осмону: «Салоны в ярости, меня считают ни на что не годным». Кстати, в салонах распространялась политическая карикатура со стихами из басни Лафонтена «Лягушка, пожелавшая сравняться с быком»: в левой части был изображён на постаменте кардинал Ришельё, из-за которого выглядывает памятник Людовику XIII, а справа к нему приближается вставший на ходули, но всё равно не дотягивающийся до его уровня герцог де Ришельё, с заносчивым видом произносящий: «Вот и я». Лягушка, как известно, до размеров быка раздуться так и не смогла, «с натуги лопнула и — околела».
О славном предке главы правительства в те времена вспоминали неоднократно. Королевский ордонанс от февраля 1816 года повелевал украсить мост Людовика XVI (нынешний мост Согласия, ведущий к Бурбонскому дворцу) статуями аббата Сугерия, советника Людовика VII, которого тот назвал «отцом Отечества»; Сюлли, министра финансов Генриха IV; кардинала Ришельё и Кольбера, главного министра Людовика XIV. Для короля также изготовили голубой фарфоровый сервиз с золотой каймой и изображением великого кардинала, который тот собирался подарить его потомку — вероятно, с намёком. В 1816 году Антуан Жей опубликовал «Историю правления кардинала де Ришельё», в которой стремился показать превосходство пращура Армана (к которому тот относился исключительно как к историческому лицу, а не как к родственнику).
Однако не мешало бы вспомнить и о том, что при жизни кардинала-герцога ненавидели все, от верхов до низов, и что на него неоднократно готовились покушения. Просто оба Ришельё умели настоять на своём, если чувствовали свою правоту. 9 сентября Дюк объяснял маркизу де Караману: «Зло слишком глубоко укоренилось, эгоизм и своекорыстие слишком широко распространены, чтобы можно было льститься полнейшей реставрацией; нация слишком стара и слишком изношена, но если бы её отдали палате — такой, какой та была, — она бы умерла, я в этом ничуть не сомневаюсь. Теперь, войдя в рамки Хартии, новая палата вольна беспокоить, прогонять министров, но по меньшей мере она не опрокинет государство».
Уже 7 сентября Ришельё написал Веллингтону — сообщил о принятых им мерах и прямо заявил: если на открытии палаты нового созыва, намеченном на 4 ноября, король сможет объявить о сокращении оккупационной армии, это существенно облегчит ему задачу. Однако Веллингтон считал, что сокращать контингент преждевременно, опасаясь, как бы не подняли голову левые. Вот те раз! Дюк снова заговорил о своей отставке.
