Дом на улице Нёв-Сент-Огюстен был выстроен в 1705—1707 годах и уже тогда считался одним из красивейших в Париже; герцог де Ришельё приобрёл его 26 февраля 1756 года за 300 тысяч ливров у герцога д’Антена и немедленно затеял там перестройку. Фасад главного здания имел 15 окон, боковое крыло — пять; сад треугольной формы доходил до бульвара (нынешний Итальянский бульвар), там стоял летний домик, построенный в 1759 году. Парижане в насмешку окрестили его Ганноверским павильоном в память о военной кампании 1757 года, больше напоминавшей грабёж среди бела дня.
Апартаменты маршала находились на первом этаже флигеля и состояли из спальни, ванной комнаты и английской уборной, гардероба и двух кабинетов: жёлтого и «фарфорового», где располагалась часть коллекций, собранных Ришельё. В библиотеке хранилось более семи тысяч томов, в основном книги по истории и о путешествиях; в конюшнях стояли 15 лошадей, четыре дилижанса, карета, дормез и двуколка; в погребе ждали своего часа больше трёх тысяч бутылок. Обычное общество, собиравшееся в особняке, составляли старики и старухи, некогда являвшие собой цвет парижского бомонда. Общение с этими дряхлыми щёголями в париках, отчаянно набелёнными и нарумяненными, верно, не могло доставить мальчику эстетического удовольствия, зато сколько уроков, преподнесённых жизненным опытом, он мог получить! Это была иная школа, не менее полезная, чем коллеж.
Во всяком случае, такое воспитание не могло развратить юную натуру, в отличие от влияния отца, который отнюдь не остепенился после рождения двух дочерей — Армандины (1777—1832) и Симплиции (1778—1840), — а пуще предавался порочным наклонностям. Так, 6 мая 1777 года он собрал у себя дома избранное общество, среди которого были герцог Орлеанский и принц де Линь, чтобы «угостить» сеансом доктора Гибера де Преваля, утверждавшего, что может, благодаря изобретённому им «чудесному маслу», без опаски совокупляться с проститутками, страдающими тяжёлой формой венерических заболеваний. Действие масла было наглядно продемонстрировано к удовольствию присутствующих. Руководство же медицинского факультета отнеслось к этому делу иначе — изгнало доктора из своих рядов. Моралисты могут назвать герцога де Фронсака безнравственным извращенцем: в описи имущества мадам Гурдан, знаменитой содержательницы одного из парижских борделей, значится «фронсаковское кресло» с недвусмысленными атрибутами: путами, хлыстами, искусственным фаллосом. Однако в эпоху маркиза де Сада (1740—1814) пресыщенное высшее общество, от скуки предававшееся разврату, пыталось добавить в него «перчинку». Фронсак просто вёл себя, как все, гоняясь за новизной в различных её проявлениях. Например, на следующий год в Париж приехал Фридрих Антон Месмер, поселился на Вандомской площади и начал устраивать сеансы исцеления по своему методу «животного магнетизма». Разве можно было такое пропустить! Вся площадь была забита каретами с гербами. В игорных домах, где отец Армана Эммануэля спускал королевские пенсии, тоже было многолюдно...
«Слушаться рассудка и во всём прибегать к его суду — скучно, а французы скуки терпеть не могут, — писал из Парижа Денис Иванович Фонвизин Петру Ивановичу Панину 14 (25) июня 1778 года. — Чего не делают они, чтоб избежать скуки, то есть чтоб ничего не делать! И действительно, всякий день здесь праздник. Видя с утра до ночи бесчисленное множество людей в беспрерывной праздности, удивиться надобно, когда что здесь делается... Все столько любят забавы, сколько труды ненавидят...» И добавлял ниже: «Сей город есть истинная зараза, которая хотя молодого человека не умерщвляет физически, но делает его навек шалуном и ни к чему не способным, вопреки тому, как его сделала природа...»
Трудно сказать, как складывались отношения герцога де Фронсака с его второй женой. Об этой женщине нам, к сожалению, почти ничего не известно, однако есть все основания предполагать, что она была добра и любила не только дочерей, но и пасынка. Во всяком случае, в дальнейшем Арман обращался к ней в письмах «дорогая матушка» и всегда искренне заботился и о ней, и о сёстрах.
В феврале 1780 года маршал де Ришельё неожиданно явился к сыну... чтобы сказать ему, что завтра женится. «Я честнее вас. Вы не известили меня о вашем браке, я же сообщаю вам о своём. И даже предупреждаю вас, что, несмотря на мои восемьдесят четыре года, рассчитываю иметь сына, который станет лучше вас, — заявил старик побледневшему Луи Антуану. — Насчёт наследства не беспокойтесь. Если у меня родится сын, я сделаю его кардиналом. Вы ведь знаете, в нашей семье это хорошо удавалось».
