Попытки Деспенсеров восстановить экономику и порядок в государстве не принесли им популярности в Англии. Гордые аристократы, с детства не расстававшиеся с оружием, могли стерпеть власть только одного человека – короля. Если же слабовольный король отдавал бразды правления фавориту, то, будь это выскочка, как Гавестон, или наследственный магнат, как Деспенсер, этот королевский любимец обязательно вызывал ненависть. Король должен был править лично, если не хотел спровоцировать раскол в королевстве. Внешне Эдуард для своего народа воплощал идеальный образ монарха: величественной фигурой он напоминал своего отца. Несмотря на все проблемы, столь часто возникавшие во время его правления, он все еще был весьма популярен среди простых людей, чьим грубоватым развлечениям он так любил предаваться в своем хартфордширском убежище, и которые были столь далеки от него, что не могли осознать его неадекватность. Но те, кто ежедневно общался с королем, видел или слышал рассказы о его ребяческом, легкомысленном и недостойном поведении, были глубоко потрясены, ведь для средневекового человека почти непоколебимой была вера в наместника Бога на земле – короля. Начали распространяться слухи о том, что Эдуард был незаконнорожденным или же подменен в детстве. Начала быстро расти ненависть к фавориту и к непристойной страсти его господина. Говорили, что одного короля было достаточно, а трех – уже чрезмерно.
Хотя оппозиция молчала, требовалось только время и благоприятная возможность, чтобы противоречия обострились. Управление стало тираническим; никто не смел противостоять королевским желаниям, отмечал хронист из Малмсбери. Исполняя функции правосудия, Деспенсер совершал самые серьезные мирские преступления, характерные для средневековья, лишал наследства на землю незаконными способами, «не испрашивая согласия на то пэров этих земель». Осенью 1323 года с помощью своих друзей, опоивших тюремщиков, из Тауэра по веревочной лестнице сбежал один из самых опасных его врагов, Роджер Мортимер Уигморский, и затем нашел убежище во Франции. Примерно в это же время до Эдуарда дошел призыв от нового французского короля, Карла IV, требовавшего от английского короля принести оммаж за его фьефы Гасконь и Понтье. Как и раньше, сложность возникла из феодальных взаимоотношений, которые не являлись проблемой до того, как начали развиваться национальные чувства во Франции и Англии. Английский король не мог заставить себя признать, что его суверенитет над французскими провинциями, унаследованными от его предков, был менее абсолютным, чем над всем его королевством, а его французский кузен и его министры равно твердо решили расширить свое господство над всеми до сих пор независимыми фьефами, которые по географическому и языковому признакам были частью Франции.
После беседы со своим советом Эдуард добился шестимесячной отсрочки, упирая на то, что он не может спокойно покинуть свое королевство в его нынешнем нестабильном состоянии. Но к тому моменту, когда он должен был появиться в Амьене, чтобы принести оммаж, в Гаскони возникла ситуация, идентичная той, что привела к войне между Францией и Англией во время правления его отца. Зимой 1323-1324 годов, предав огню новый французский форт и повесив французского барристера за вторжение в свою юрисдикцию, сэр Ральф Бассет, английский сенешаль Гаскони, не ответил на призыв французского короля явиться в суд города Тулузы, чтобы держать ответ за свое нарушение норм права. Когда в июле 1324 года английский посол в Париже отказался выдать преступного сенешаля и попросил дальнейшей отсрочки принесения оммажа, французский король поступил так же, как и его отец тридцать лет назад, объявив Гасконь и Понтье конфискованными в соответствии с феодальным правом и послал армию в Ажене и другие районы герцогства. Французские каперы и слабость военно-морского флота помешали Эдуарду выслать подкрепление своим гарнизонам, поэтому все, что он мог сделать в своей бессильной ярости, – арестовать французских торговцев в Англии и освободить от своих обязанностей французских слуг своей жены. К сентябрю его сводный брат, граф Кента, был вынужден сдать Ла Реоль и согласиться на шестимесячное перемирие, чтобы спасти то, что осталось от Гаскони.
Супружескую жизнь Эдуарда и Изабеллы трудно назвать идиллической. Королева сильно переживала по поводу его страсти к Деспенсеру. Их взаимоотношения были так натянуты, что поговаривали даже, что «король носит нож в рукаве, чтобы убить королеву, и говорили, что если бы у него не было никакого оружия, он загрыз бы ее собственными зубами». Уволив ее придворных дам и поставив на их место жену своего фаворита, Эдуард окончательно испортил отношения с Изабеллой.