По возвращении из поездки по Лангедоку в конце марта 1304 года Филипп Красивый вновь столкнулся с римской проблемой. Призрак Бонифация VIII продолжал отравлять отношения с новым Папой, который заявил, что готов к примирению, но без осуждения памяти своего предшественника. Его тактика заключалась в том, чтобы разделить противников Бонифация, возложив всю ответственность за нападение на Папу Ананьи на Гийома де Ногаре, и в то же время оправдать короля. Это была классическая тактика в истории государственных отношений: наказать исполнителей, чтобы пощадить руководителей. Проблема в данном случае заключалась в том, что Филипп Красивый не был готов предать своих слуг, что было одной из главных особенностей его правления. Поэтому переговоры оказались сложными. Они проходили в течение весны 1304 года на уровне послов.
Бенедикт XI, надеясь разрядить ситуацию, отменил все санкции, принятые Бонифацием VIII против Филиппа Красивого и его представителей, за исключением Ногаре. Любая идея об отлучении короля Франции была исключена, а для пущей убедительности государю были дарованы два децима и доходы от аннатов на три года: достаточно, чтобы заставить его изменить свое мнение по делу Бонифация, думал Папа, и в то же время исключить возможность созыва собора.
В марте и апреле король отправил нескольких своих легистов на переговоры с Папой, который теперь жил в Перудже, из-за напряженной обстановки в Риме. Сначала это были Берар де Меркур, Пьер де Беллеперш, Гийом де Плезиан и сам Ногаре, к которым присоединились Гийом де Шатенай и Гуго де Селле, на которых также легла задача проконсультироваться с кардиналами о возможном созыве собора. Из опрошенных в Риме, Витербо и Перудже, в апреле, легистами кардиналов, девять из них благоразумно ответили, что решение должен принимать Папа, а семь высказались за созыв собора.
Обезопасив свое положение, Бенедикт XI 8 июня издал буллу
Если Бенедикт XI думал, что на этом дело закончилось, то он сильно ошибался, поскольку Ногаре не был человеком, способным принять роль козла отпущения. Будучи искренне убежденным в еретичности Бонифация VIII, в необходимости созыва собора и в том, что он вел себя справедливо и достойно в Ананьи, он настаивал на полной идентичности взглядов короля и себя, о чем он напомнил Филиппу Красивому в письме, сохранившемся в архиве: "Есть много важных людей, светских и церковных, даже среди друзей короля, чье мнение и совесть обеспокоены и оскорблены в отношении короля, и которые думают, что у него и у меня, должно быть, не совсем чистая совесть". Король был прав, когда принял меры против Бонифация VIII, считал Ногаре, и эти меры должны быть продолжены. Отказ от них сейчас означал бы отказ от королевской политики. И если король был прав, то его роль в Ананьи, где он призвал к ответу Папу, и защитил его от насилия Скьярра Колонна, полностью оправдана, а его отлучение совершенно несправедливо. Такова была линия защиты, которую Ногаре неустанно развивал в течение многих лет, умножая свои мемуары — первые датируются сентябрем 1304 года — в которых он оправдывал свое поведение и очернял образ Бонифация. Одним из результатов его неустанных усилий, в глазах истории, парадоксальным образом стало то, что он стал "человеком Ананьи", главным действующим лицом нападения на Папу, в котором он играл лишь второстепенную роль. И в то же время Филипп Красивый, который никогда не отрекался от него, даже наградил его и назначил хранителем печати в 1308 году, должен был выступить в качестве заказчика нападения, которое должно было внести большой вклад в его репутацию защитника светской власти в глазах потомков.
29 июня Ногаре был вызван в Перуджу для вынесения приговора. Он не приехал. Неделю спустя, 7 июля, Бенедикт XI умер от несварения свежего инжира, что поставило все дело под вопрос. Пришлось избрать другого Папу. Поскольку смерть произошла в Перудже, 18 июля кардиналы собрались там на конклав. Конклав проходил тяжело, кардиналам потребовалось десять месяцев, чтобы прийти к согласию в выборе нового понтифика. Началось новое понтификальное междуцарствие.
