Император совершил и другую, дорого ему обошедшуюся ошибку, пусть и не столь очевидную, однако имевшую такие же плачевные последствия, как и вторжение в Испанию. Он допустил непростительный промах, поссорившись с католической церковью. Папа Пий VII был по натуре боязливым и уступчивым человеком, приезжал то в Париж, то в Милан, покорно короновал Наполеона и терпел от него всяческие унижения. Но хотя престарелый понтифик (родился он еще в 1740 году) и проявлял всю покорность бенедиктинского монаха, коим он и являлся, одновременно он обладал удивительной стойкостью. В результате Пий VII привел в бешенство императора, который ожидал от папы, что тот будет слепо повиноваться ему, будучи благодарным за Конкордат. Среди его прегрешений самыми тяжкими были следующие три: во-первых, папа отказался признать недействительным брак короля Жерома с американкой, во-вторых, он отказался признать Жозефа королем Неаполя и, в-третьих, настоял на сохранении нейтралитета и отказался закрыть порты Папской области для английских судов. Более того, он не мог терпеть дальнейшее вмешательство в дела церкви. В апреле 1808 года наполеоновские войска заняли Рим, а в 1809 году вотчина Св. Петра оказалась поглощена разбухшей Французской империей. Пий VII отлучил захватчиков от церкви, а сам оказался пленником в Савоне в Апеннинах. Католики повсеместно (даже дядя Феш, прелат-политик, каких редко знала история) кипели возмущением. Во Франции церковь, очищенная и обновленная годами преследований, также намеревалась обратиться к роялизму и контрреволюции и тем самым под шумок развернуть внушительную кампанию против императорского режима. И тогда Наполеон обнаружит, что он в безрассудстве нанес непоправимый ущерб своей популярности даже среди тех, кто до этого был самым ревностным его сторонником.
Испанская война и назревающий конфликт с папством однозначно свидетельствовали о надвигающейся опасности. И действительно, Талейран, в высшей степени реалист, оставил пост министра иностранных дел еще в августе 1807 года. Он был убежден, что его властелин замахнулся слишком высоко. Согласно его рассказам «создается впечатление, что в тот решающий период его (Наполеона) карьеры, того несло вперед некой силой, которой невозможно было противостоять и которая затмевала все доводы разума. Его испанская кампания была откровенным безумием». И Талейран, и Фуше видели грядущую катастрофу и начали плести против Наполеона интриги. От других не ускользнуло это ухудшение, даже во внешнем облике императора проявились признаки упадка. Герцог де Бролье, видевший Наполеона весной 1808 года по пути в Байонну, чтобы там силой вырвать у испанской королевской фамилии отречение, вспоминает;
«Куда подевался тот юный Первый консул, которого я впервые увидел решительно шагающим по Тюильри, рука об руку с Бурьеном и легкой турецкой саблей под мышкой, худощавый и подвижный. Его внешность изменилась до неузнаваемости Фигура его стала приземистой и тяжелой, его короткие ноги заметно растолстели, цвет лица приобрел болезненно-бледный оттенок, на лбу появились залысины, а все лицо стало напоминать изображение на римской монете. Как один из тех, кто собрался лицезреть его появление, я не мог избавиться от мысли, что все в нем напоминало (римского) императора, причем императора в худшие его годы».
К этому времени Наполеон не просто принимал лесть он купался в ней. Тем самым он поселил в душах аристократии вполне обоснованную тревогу.
Император не был единственным из клана, чья внешность изменилась в худшую сторону. «Стройная и элегантная фигура (Жозефины), бывшая основой ее привлекательности, исчезла бесследно, — пишет мадам д’Абрантес, — приобретя взамен зрелость, что мы находим в скульптурных портретах Агриппины». Катастрофа для несчастной женщины, особенно, если учесть ее щекотливое положение. Жозеф тоже располнел, а Элиза с каждым днем все сильнее напоминала Наполеона в юбках. Иоахим щеголял чудовищными усами, которые вовсе не украшали его. (Глядя на портрет Мюрата, написанный в то время, леди Блессингтон как-то раз заметила, что у нее «создается впечатление отважного предводителя разбойничьей шайки, разнаряженного в дорогое платье, снятое с одной из его жертв». Весьма меткое описание). А вот Полине удалось сохранить свою знаменитую соблазнительную привлекательность. «Мадам мать» также по-прежнему оставалась на удивление моложавой.
