Еще одной причиной для упреков стал выбор места проведения мероприятия. Город Вьенна с его примерно 7.000 жителей, был очень скромным местом для проведения вселенского собора. Стесненный в своих старых стенах, зажатый между высокими холмами и стремительной Роной, он представлял собой лабиринт узких улочек и нагромождение разнородных зданий вокруг руин римского театра, храма Августа, церквей Святого Петра, Святого Мартина и Святого Севера, аббатств Святого Андрея Верхнего и Святого Андрея Нижнего и собора Святого Мориса. Именно в последнем, который еще не был достроен, проводились пленарные заседания собора. Размещение Папы и его свиты, 114 епископов и кардиналов, около тридцати аббатов, сопровождаемых секретарями и слугами, а также десятков членов делегаций иностранных государей, в таком маленьком помещении в течение семи месяцев было непростой задачей. Не прошло и месяца после открытия Собора, как епископ Раймонд Валенсийский 9 ноября написал королю Арагона: "Мне здесь очень скучно, ибо в стране очень холодно, и по этой причине она не подходит для моего здоровья. Город небольшой, людей много, отсюда и сутолока. Люди также страдают от многих неудобств, но должны терпеливо их переносить". Терпение — вот что понадобилось этому епископу, ведь ему пришлось провести там всю зиму. Английский посол Генри Файкс, в свою очередь, жаловался на высокую стоимость жизни: "В Авиньоне на черный денье мы могли купить еды больше, чем здесь на стерлинг!"
Почему же Папа выбрал такое неудобное место? Помимо его личной привязанности к городу с престижным христианским прошлым, где он хотел бы короноваться, решающее значение имела политическая ситуация. Город находился на имперской территории, но от королевства Франция его отделяла только река Рона; он находился под совместной властью архиепископа Бриана де Ланьо и дофина Вьеннского Жана II. Место было тесное, но безопасное, со стенами, над которыми доминировал с севера замок Ла Бати.
Собор готовился несколько месяцев, его официальная программа состояла из трех или четырех пунктов: судьба ордена тамплиеров, крестовый поход, реформа церкви и, во вторую очередь, суд над Бонифацием VIII. Поскольку этот последний пункт был отменен Филиппом IV, король Франции в основном ждал решения относительно тамплиеров, в то время как Папу интересовал в первую очередь крестовый поход и реформаторы. Климент V, созывая собор, попросил, чтобы каждый епископ представил список реформ, которые считаются необходимыми в его епархии. Подобные