В начале 1849 года Пальмерстон финансировал сицилийских заговорщиков, пытавшихся свергнуть короля Неаполя Фердинанда. Виктория была разгневана и в очередной раз пыталась сместить неугодного министра, но он устоял. На следующий год с португальским евреем доном Пасифико, подданным Англии, грубо обошлись в Греции; Пальмерстон потребовал извинений и, не получив их, послал к греческим берегам британскую эскадру. «Легкомыслие этого человека просто невероятно!» — воскликнула королева, но на слушаниях в парламенте Пальмерстон произнес пылкую речь и сразу стал национальным героем. Он напомнил, что вся Европа погружена в пучину гражданских войн и одна Англия пребывает в мире. «Мы показали, что свобода совместима с порядком; что свобода личности неотделима от уважения к законам». Англия, по его мнению, была «страной, где любой человек из любого класса имеет возможность подняться по социальной лестнице — не обманом и несправедливостью, не насилием и беззаконием, но упорным и добросовестным трудом». Обрисовав эту радужную картину, он спросил парламент — разве не правильно, что «как римлянин древних времен защищал себя от бесчестия одной фразой „Я — гражданин Рима“, так и британский подданный, где бы он ни был, знает, что зоркий глаз и сильная рука Англии охраняют его от несправедливости и насилия».
Виктория и Альберт посоветовались с бароном Штокмаром и вместе составили меморандум лорду Расселу. Это была одна из последних попыток пересмотра отношений между английским монархом и его кабинетом. Королева хотела от своего министра иностранных дел одного: «Чтобы он твердо знал, чего он хочет в каждом случае, чтобы и королева знала, на что она дает свою монаршую санкцию, и чтобы эта санкция не была после отменена или изменена министром; такие действия она вправе рассматривать как отсутствие искренности в отношении короны и использовать свое конституционное право путем увольнения этого министра». Пальмерстон отправился к Альберту и мастерски изобразил смирение и раскаяние; однако борьба продолжалась. В 1851 году венгерский патриот Лайош Кошут, боровшийся против Австрии, бежал в Турцию. Австрийцы уже почти добились его выдачи, но тут Пальмерстон вдруг решил спасти Кошута и послал в Босфор свои любимые канонерки. Благодарный Кошут явился в Англию, но королева — опять-таки из «монархической солидарности» — запретила Пальмерстону принимать его. Обиженный министр заявил, что вправе сам решать, кого принимать в собственном доме, но тут премьер возразил, что «в данном случае недопустимо отделять личные интересы от государственных», и Пальмерстону пришлось подчиниться.
Но через несколько недель его загнали в угол, из которого он уже не смог выбраться. В декабре 1851 года принц Луи Наполеон совершил во Франции переворот и вскоре провозгласил себя императором. Пальмерстон, не советуясь ни с кем, послал ему свои поздравления вместе с обещанием поддержки. Его пригласили за объяснением в палату общин, но Рассел, который сам начал бояться непредсказуемого министра, не хотел допускать повторения истории с доном Пасифико и уволил его в отставку. Дизраэли вспоминал, что Пальмерстон сидел, обхватив голову руками, «как лиса в капкане». Однако опытный политикан просто сменил партию, стал ярым вигом и готовился к новому броску во власть.
Главную тяжесть борьбы с министром вынесла на своих плечах Виктория, поскольку Альберт был занят другими делами. Он возглавлял комитет по организации Всемирной выставки, намеченной на следующий год. В громадном стеклянном сооружении, вскоре названном Хрустальным дворцом, должны были быть представлены величайшие чудеса, созданные природой и человеческим трудом. Выставка стала самым ярким проявлением оптимизма XIX века, его наивных представлений о власти человека над природой, об облагораживающей роли воспитания и искусства, о «цивилизаторской миссии» европейцев. Однако у нее нашлись и противники — купол Хрустального дворца сравнивали с Вавилонской башней и предрекали ему ту же участь, а защитники нравственности боялись, что выставка привлечет толпы пьяных и разнузданных хулиганов со всей страны. Даже сам премьер выразил опасения, что стекло дворца может потрескаться от пушечного салюта.