Покончив с государственными делами, Дюк позволяет себе упомянуть и о личном «дельце»: «Возможно, Вашему Величеству уже говорили о моём желании совершить этой зимой поездку в Вену. Пять лет назад я вложил там 4 тысячи дукатов, к несчастью, во флоринах[48], из-за чего потерял бы 4/5 этой суммы, если бы не имел дела с щепетильным человеком. Я хотел бы забрать эти деньги и уладить дело так, чтобы потерять как можно меньше. Какой бы важной ни была эта поездка в моём положении, я полностью полагаюсь на Вашу волю, Государь, и прошу Вас располагать мною безо всякого снисхождения».
На самом деле Ришельё находился в очень стеснённом положении; несколько раньше в том же году он писал Кочубею о сделанных им долгах, и тот посоветовал обратиться к государственному секретарю М. М. Сперанскому, своему бывшему протеже (а теперь — второму лицу в государстве после императора), поскольку сам теперь обладал лишь «тоненьким голоском» в Государственном совете. Однако, изложив свою отчаянную просьбу императору, Дюк добавляет: «Если Вы считаете, что моё отсутствие будет иметь нежелательные последствия, я откажусь от поездки без сожалений; это будет очень малая жертва по сравнению с теми, кои я всегда готов принести ради Вашего Величества». Александр сочтёт отсутствие Ришельё крайне нежелательным, поэтому распорядится выдать ему 40 тысяч рублей из казны, но тот не прикоснётся к этим деньгам...
Нарышкина с дочерью и свитой из Одессы отправилась в Крым. Герцог решил воспользоваться случаем и справить новоселье в своей ещё недостроенной гурзуфской даче, которую окрестили «замком Ришельё».
Рошешуар в записках подчёркивает, что это здание просто поразило окрестных татар, которые уподобляли его дворцам бывших ханов. Вид его можно себе представить по более поздним запискам путешественников. С. А. Юрьевич в «Дорожных письмах» (1816) называет дом одноэтажным, на высоком цоколе; главный вход был со стороны западного фасада, на крыше располагались мансарда и бельведер. В. Б. Броневский писал в 1815 году: «...остановились мы у большого о двух этажах дома с бельведером. Хотя дом не совсем ещё отстроен, но вблизи низких хижин кажется огромным и великолепным замком. Главным фасадом обращён он к горам; с другой стороны видно море. Мне показалось сначала, что лучше бы главный фасад обратить к морю, но, взошедши на балкон и взглянув на окрестности, я согласился, что хозяин прав». Широкая и высокая галерея с колоннами, окружавшая дом с трёх сторон, и восемь окон в стене, противоположной фасаду, делали его лёгким, прозрачным, воздушным, наполняли звуками и отсветами моря. Сад с береговой стороны был ещё совсем юный, изгородь вдоль берега — низенькая (она была сложена из камня и украшена прозрачными воротцами в турецком стиле). Однако «замок», казавшийся огромным, на самом деле имел всего четыре небольшие комнаты для житья, «в которых столько окон и дверей, что нет места, где кровать поставить», напишет побывавший там в 1820 году И. М. Муравьев-Апостол. «В этом состоит всё помещение, кроме большого кабинета над галереею, под чердаком, в который надобно с трудом пролезть по узкой лестнице». В подвальной части размещались службы.
Гости пробыли там пять дней, а потом поехали дальше: 22 сентября — Симферополь, затем Кафа, Керчь, Тамань... Оттуда царская фаворитка выехала обратно в Петербург, а Дюк — в Екатеринодар. Он не мог предполагать, что больше не вернётся в Гурзуф...
«Вот уже почти два месяца, как я покинул Одессу, и всё это время путешествовал в очаровательном обществе, состоящем из госпожи Нарышкиной, самой красивой женщины Петербурга, и трёх других любезных юных особ, которые её сопровождали, — писал Арман госпоже де Монкальм из Екатеринодара 24 октября (5 ноября) 1811 года. — Мы расстались в среду в Тамани, и теперь мне предстоит поездка иного рода, в более многочисленной, но менее приятной компании. Через три или четыре дня я перейду Кубань с корпусом в 8 тысяч штыков, чтобы попытаться заставить покориться единственное черкесское племя, не пожелавшее это сделать после экспедиции, совершенной мною этой зимой, и захвата последней крепости, ещё принадлежавшей туркам в сих краях. Поскольку мы ничего у них не просим, только сидеть спокойно, вероятно, мир с ними заключить будет нетрудно; и всё же они предпочитают дважды в год подвергаться разорению, чем отказаться от своего разбоя. Надеюсь, однако, на сей раз склонить их к оному, поскольку рассчитываю проявить столько же упорства, сколько они сами. Сия война не так опасна, как утомительна, поскольку приходится постоянно жить на бивуаке, будучи лишённым всяческих удобств».
В другом письме Армандине говорится, что черкесы, которые теперь приезжали в Анапу торговать, были поражены, увидев, что по улицам города спокойно прогуливаются такие красивые дамы. Можно себе представить, каких усилий стоило Ришельё обеспечить это спокойствие!