Воцарение Филиппа V ознаменовало собой опалу для Валуа. Карл, некоторое время надеявшийся на регентство, не имел на племянника такого же влияния, как на Людовика X и поэтому был вынужден отойти от власти. Смерть Людовика X ввергла королевство в сложную и беспрецедентную ситуацию. Покойный король оставил после себя дочь Жанну, которую сильно подозревали в незаконнорожденности, поскольку она родилась в 1311 году, в то время как ее мать, Маргарита Бургундская, состояла в прелюбодейной связи с Филиппом д'Оне[94]. Вторая жена Людовика X, Клеменция Венгерская, ждала первенца, который, независимо от его пола, не смог бы реально править в течение нескольких лет. Клеменция, поскольку она являлась иностранкой в королевстве, была отстранена от регентства; Эд IV, герцог Бургундский и брат Жанны, жены Филиппа де Пуатье, намеревался представлять интересы своей племянницы Жанны, рожденной в браке Людовика X и Маргариты Бургундской. Филипп де Валуа встал на сторону своего шурина и не присутствовал на собрании, которое 16 июля 1316 года передало регентство над королевством его кузену, Филиппу де Пуатье, будущему Филиппу V. Он также не поехал в Реймс на коронацию в январе 1317 года, но был в составе свиты регента, когда тот отправился в Лион на коронацию Папы в сентябре 1316 года[95]. Таким образом, опала не была строгой, но отношения с новым королем были не самыми лучшими, и Филипп практически не появлялся при дворе до 1318 года.
Это затворничество также было вызвано его сильной враждебностью к Анри де Сюлли, одному из самых верных и близких советников Филиппа V. Анри де Сюлли входил в королевскую свиту с 1308 года, и во время правления Филиппа IV (в то время он носил титул королевского рыцаря) был постоянным членом Совета, все больше утверждаясь в качестве самого доверенного советника последних Капетингов. В 1317 году он вновь стал королевским рыцарем, в 1317–1320 годах — советником короля, в 1316 году — членом Совета, а в 1317–1331 годах — виночерпием (
Филипп встал на сторону отца, и в сентябре 1317 года Папа Иоанн XXII написал Карлу де Валуа письмо, призывая его воздействовать сына, который якобы оскорбил королевского советника[98]. Тем не менее, ситуация нормализовалась, и в апреле 1318 года Филипп стал капитаном короля в графстве Невер. Он занимал эту должность, на которую, вероятно, был назначен благодаря связям между двумя семьями, Валуа и Невер, с начала апреля 1318 года и до 1320 года, с небольшими перерывами. С февраля по июль 1319 года он также отвечал за переговоры с дворянством Турени, Сентонжа, Ангумуа и Лимузена о субсидировании армии: цель заключалась в получении финансовой поддержки для новой королевской кампании против фламандцев. Мир был подписан в 1305 году в Атис-сюр-Орж, но осуществление его положений оставалось проблематичным, и королю Франции пришлось еще несколько раз собирать армию, почти каждый год с 1312 по 1319 год, а затем еще раз в 1325 году. Таким образом, Филипп оказывал монархии услуги, ожидаемые от принца крови, и в январе 1319 года[99] был вознагражден пожизненным аннуитетом в 150