Маркиза стала одной из первых «офранцузившихся» аристократок Испании, поддерживавшей завоевателей. Вела она себя соответственно, разъезжала в золоченой карете, запряженной восьмеркой лошадей, а горожане с нескрываемым наслаждением распевали ей вслед похабную песенку. Муж проявил наивысшую степень деликатности, за что был пожалован званием камергера, титулом испанского гранда и произведен в кавалеры ордена Испании. Жозеф купил за 300 тысяч франков дворец Монтермозо, по случаю чего Наполеон ядовито высказался, что строение не стоит таких денег даже с маркизой в придачу. Все это совершенно не значило, что маркиза безраздельно царила в сердце Жозефа. Он, по привычке, не гнушался затаскивать в свою постель всех, кто попадался под руку, вдовую графиню Сан-Хосе де Харуко, жен людей из своего окружения: камергеров, генералов, военных комиссаров. Одна из его «испанских» любовниц, мадам Сари, жгучая креолка с Кубы, жена морского офицера-корсиканца, впоследствии вместе с мужем заведовала хозяйством в его американском поместье Пойнт-Бриз. В 1811 году Жозеф отправился в Париж для присутствия на крестинах сына Наполеона и заодно попытки (безуспешной) защитить интересы своих новых подданных. Его сопровождал маркиз де Монтермозо, который внезапно скончался в Париже, и прекрасная Мария стала вдовой.
Командование Жозефа вооруженными силами в Испании было чисто номинальным, ибо посланные туда маршалы занимались собственным обогащением и предпочитали подчиняться напрямую Наполеону, ни в грош не ставя мнение недееспособного короля. 21 июня 1813 года сражение с англичанами под Виторией, затеянное по настоянию Жозефа, было проиграно. Ему пришлось улепетывать столь стремительно, что он бросил на месте столовое серебро, коллекцию испанской живописи и казну для расчетов с военными – 27 тысяч франков. Но, к чести его будь сказано, Жозеф успел прихватить с собой маркизу де Монтермозо. Та поселилась во Франции, причем сумела собрать вокруг себя небольшой двор из лиц, поддерживавших короля-француза во время его правления, так называемых «жозефинос». Она попробовала было обосноваться в Париже, но против этого выступили Наполеон и Жюли, так что ей пришлось поселиться в Беарне, в замке Каресс. Жила маркиза за счет доходов от испанских имений и со временем скопила одно из самых больших состояний во Франции. В 1816 году она вышла замуж за французского офицера Амедео де Карабен, с которым прожила до конца своих дней, посвятив себя благотворительности.
Жозефу же оставалось только возвратиться во Францию в свое любимое поместье Мортфонтен, превратившееся в центр собрания семьи Бонапартов. Как это ни странно, там проживала и Дезире, которая, невзирая на приказ Наполеона покинуть Францию, осталась в Париже. Ее муж, избранный кронпринцем Швеции, теперь командовал одной из четырех армий, готовившихся вступить во Францию.
Наполеон затеял новую комбинацию – посадить на трон Испании изгнанного народом принца Фердинанда Бурбона, предварительно женив его на тринадцатилетней дочери Жозефа Зенаиде. Отец кандидатки выступил против этого плана, но согласился отречься от престола только при условии, что сохранит за собой титул короля. Ему присвоили звание генерал-лейтенанта и назначили губернатором Парижа. В процессе агонии империи Наполеон засыпал брата письмами, исполненными самых оптимистических заверений:
Но Жозеф, похоже, не собирался геройски защищать Париж. Сначала он отправил на запад Жюли с детьми, а затем сбежал и сам. После отречения Наполеона разжалованный губернатор вместе с женой уехал в Швейцарию, где купил поместье близ Лозанны. Считается, что он был самым богатым из Бонапартов, ему приписывали состояние в 25 миллионов франков. Во время пребывания Наполеона на Эльбе, Жозеф активно переписывался с ним, сообщая о положении дел на материке, а также о заговорах, которые возникали против бывшего императора – очень многие предпочли бы видеть его мертвым. Получив известие о побеге брата с Эльбы, он уже через два дня после него прибыл в Париж, где занял свое место в палате пэров. Когда Наполеон выехал из столицы, чтобы произвести пробу сил к югу от Брюсселя, Жозеф и Люсьен остались в Париже, пытаясь сохранить единство в обществе его политических сторонников.
После разгрома при Ватерлоо Наполеон был вынужден вторично отречься от престола и выехал в Рошфор. Жозеф последовал за ним. С годами сходство между братьями во внешности стало разительным, и Жозеф предложил поменяться местами. В таком случае Наполеон в его одежде мог бы отбыть в Америку на бриге, зарезервированном для Жозефа, а брат в его личине мог бы предпринять попытку прорваться через заслон британских судов в Атлантике. Наполеон отказался, положившись на благородство англичан, и сдался капитану Мейтленду с корабля «Бельрофон». Когда Жозефу сообщили об этом, он отплыл в Чарльстон в одиночестве – Жюли по слабости здоровья отказалась пересекать Атлантику.
