Исходя из канонического возраста для вступления в брак — 12 лет для девочек и 14 лет для мальчиков — свадьба могла бы состояться уже в 1307 году, но смерть второй жены Карла де Валуа 11 октября того же года нарушила планы графа. Овдовев в конце 1299 года, отец Филиппа воспользовался предоставившейся возможностью и в 1301 году женился на женщине из очень знатного рода, Екатерине де Куртене. Воспитанная при дворе Карла Анжуйского, короля Сицилии, Екатерина была внучкой Балдуина II, латинского императора Константинополя (1228–1261). В 476 году прекратила свое существование Западная Римская империя, но Восточная Римская империя осталась. Четвертый крестовый поход (1202–1204 гг.), отвлеченный от своей главной цели — отвоевания Святой земли у мусульман, привел, в 1204 году, к захвату Константинополя и основанию Восточной Латинской империи. Императорский титул, возложенный на Балдуина IX, графа Фландрии и Эно, впоследствии перешел к младшей линии рода Капетингов, дому Куртене. Бодуэн II де Куртене в 1261 году был изгнан из Константинополя Михаилом VIII Палеологом, но его преемники продолжали носить титул латинского императора Константинополя и сохраняли свои претензии на трон, который они надеялись себе вернуть. Карл де Валуа, очень честолюбивый человек, несомненно, лелеял надежду по праву жены взойти на императорский престол; но в соответствии с соглашением, заключенным с Папой Бонифацием VIII в обмен на послабления, необходимые для его повторного брака, ему пришлось отправиться воевать на Сицилию, чтобы изгнать арагонцев, что отвлекло его от планов завоевания Константинополя[31].
После смерти Екатерины де Куртене (11 октября 1307 года) право на императорский титул перешло к старшей дочери супругов и единокровной сестре Филиппа, тоже Екатерине, которая теперь должна была отстаивать права семьи на Восточную империю. Поэтому ей нужен был муж, способный возглавить успешную завоевательную экспедицию, но Гуго Бургундский, ее жених, не обладал достаточными финансовыми ресурсами. Поэтому Карл остановил свой выбор на Филиппе, принце Тарентском, одном из сыновей Карла II Анжуйского, короля Неаполя, и таким образом нарушил брачный договор, подписанный в 1303 году. Только после пяти долгих лет переговоров с Папой он получил
Новые условия брака были согласованы при посредничестве Филиппа IV и легко представить себе обиду Гуго Бургундского на Карла де Валуа после пережитого им унижения. Чтобы смягчить горечь отвергнутого принца, было издано несколько королевских актов, датированных июлем 1313 года и обнародованных в Фонтенбло, в самый разгар празднования двух свадеб[35]. Согласно одному из документов, Людовик, младший брат Гуго Бургундского, должен был жениться на Матильде де Эно, наследнице княжества (принципата) Ахайя или Морея (Пелопоннес, Греция), вассала Восточной Латинской империи. Другое соглашение касалось Филиппа и Жанны более непосредственно, поскольку в нем были определены приданое невесты, а также наследство ее мужа. Жанна отказалась от первоначально обещанных ей 55.000
В возрасте всего 20 лет, уже посвященный в рыцари, женатый, обладавший земельными владениями, обеспечивающими ему солидный доход, будущий граф Валуа шел по пути, предначертанному ему с рождения. От молодого человека ожидали, что он обеспечит свое династическое будущее плодотворным браком и будет как можно лучше управлять семейными владениями. Будучи принцем крови, он, естественно, должен был служить королям Франции, одним из самых верных сторонников которых был его отец. Ранняя жизнь юного Филиппа была мало событийной, что, несомненно, создало ему имидж несколько слабой, тусклой личности. Но было очень трудно заявить о себе находясь в тени такой внушительной фигуры, как Карл де Валуа.