На протяжении 1811 и 1812 годов положение Жозефа неуклонно менялось к худшему. Месяц спустя после его назначения главнокомандующим Бадахоэ перешел в руки Веллингтона. 22 июля сражение под Саламанкой обернулось подлинной катастрофой; армия Мармона была разбита, сам маршал потерял руку и 7 тысяч солдат. Остатки того, что когда-то было пятидесятитысячной армией, спасло только наступление ночи. Затем Веллингтон двинулся на Мадрид и 12 июля под всеобщее ликование вошел в столицу. Король Жозеф спасся бегством всего двумя днями ранее. Вслед за Жозефом на телегах и повозках двигались его перепуганные до смерти прихлебатели. Процессия эта растянулась на несколько миль, пока не нашла убежище в Валенсии. Но силы Веллингтона были довольно ограничены, и поэтому французы, хотя временно и потеряли Центральную, Западную и Южную Испании, вскоре перегруппировались, а Массена прибыл, чтобы восстановить прежнюю ситуацию. В октябре на военном совете Сульт вынес предложение сконцентрировать несколько армий, чтобы тем самым нанести Веллингтону удар с тыла, пока он вовлечен в сражение с французской армией на севере у Бургоса. Этот план мог бы стать для англичан фатальным. Однако Жозеф, убежденный в собственном военном гении, и слышать о нем не желал, настаивая на скорейшем захвате столицы. Он вернулся туда 2 ноября 1812 года, хотя больше и не питал иллюзий по поводу своей популярности. В Мадриде ему было суждено провести еще только пять месяцев.
Как ни странно, над Вестфалией солнце продолжало светить мирно и спокойно, несмотря на чудовищные долги, в какие влез ее беззаботный монарх. Он продолжал предаваться развлечениям. Как-то раз, на одной особенно бурной пирушке, он так напился, что был арестован на улице собственной столицы своей же полицией, которая не узнала его. Жером успел превратиться в посмешище в глазах всего Касселя. Меттерних сообщает нам, что «Жером был неглуп, но его порочный образ жизни, чрезмерное тщеславие и мания во всем уподобляться брату покрыли его насмешками». Тем не менее ему не пришлось отражать вторжение врага или мятежных патриотов, как это выпало Жозефу, или же ломать голову из-за Континентальной блокады, подобно Луи и Мюрату, поскольку у него не было портов. В конце августа 1811 года, вскоре после крещения римского короля, «мадам мать» нанесла визит королю Иерониму Наполео в Наполеонсхоэ. Вначале ее приняли в Касселе с почестями, полагающимися правящему монарху, — военными парадами на улицах, пушечными залпами и гала-представлением в опере (специально для этого случая была написана оратория, причем не кем иным, как беглым любовником Полины Бланджини). Младший сын Летиции все-таки еще оставался в душе итальянцем: он любил и побаивался мать более, чем какую-либо иную женщину в мире. В свою очередь Летиция испытывала особую привязанность к своей несчастной снохе Екатерине Вюртембергской. Последняя отвечала ей взаимностью и совершенно искренне утверждала, что «мадам мать» внушает уважение точно, так же, как и русская императрица». Летиция подарила Екатерине великолепный, украшенный жемчугом зонтик от солнца с золотой ручкой вместе со своим портретом, тоже обрамленным жемчугом, — в знак истинной преданности, особенно если учесть пресловутую скаредность Летиции.
Визит включал в себя торжественный смотр войск. Солдаты Жерома были облачены во внушительную необычного покроя униформу, придуманную для них самим монархом. Затем следовали охота, пикники, «смотр достопримечательностей, банкеты и концерты. «Актрис» на время упрятали с глаз подальше. «Мадам мать» нашла все это весьма милым и прогостила два месяца. Когда же она, наконец, покинула Кассель, Екатерина писала в своем дневнике о «горьком расставании с самым восхитительным другом». Даже Летиция, несмотря на присущий ей пессимизм, вряд ли могла представить, что через два года королевство Вестфалия исчезнет, не оставив никакого следа. Однако уже во время «императорского лета» многие наблюдатели, включая самого Жерома, догадывались, что Вестфалия стоит на грани развала. Задавленные налогами, возмущенные царящими при дворе нравами, ненавидящие авантюристов, поставленных управлять ими, жители королевства постепенно начали питать отвращение к этому итальянскому распутнику, считавшемуся их королем. В конце 1811 года прусский министр писал в донесении из Касселя в Берлин, что каждую ночь у Жерома наготове стояло трое лошадей, взнузданных и оседланных, и еще шесть, запряженных в самую быструю карету Екатерины, на случай, если им придется уносить ноги от собственных подданных.
У себя в Америке, в Балтиморе, Бетси Патерсон, отчаявшись вернуть себе супруга-короля, подала гражданский иск о расторжении брака и в 1813 году добилась развода. Вторично выходить замуж она не собиралась, сказав отцу по этому поводу следующее: «Ничто не заставит меня выйти замуж за кого-либо в Америке, после того как моим мужем был брат императора». Всю свою жизнь она посвятила непризнанному Бонапартами ребенку, своему сыну Жерому Патерсону Бонапарте.
