Филипп унаследовал на западной оконечности Иль-де-ла-Сите разнородную и тесную группу зданий вокруг Сент-Шапель, датируемых, в основном, серединой XIII века. В первую очередь необходимо было увеличить площадь, а это можно было сделать только за счет экспроприации земельных участков у буржуа, ремесленников и купцов, чьи дома теснились вдоль восточной стены. Даже герцогу Бретани пришлось отказаться от дома, которым он владел в этом районе. Поэтому с 1296 года была построена новая стена вдоль улицы Барильери и улицы Сен-Бартелеми. Эту стену прорезали двое ворот: Гранд-Порте и Порт Сен-Мишель, а по бокам, внутри ограды, располагались Шамбре дю Трезор, Отель дю Трезор и дома для придворных. В северной части, вдоль Сены, в 1300 году начали строить грандиозную группу зданий, посвященных отправлению правосудия. Шедевром стал Большой зал — огромный прямоугольник размером 70 на 27 метров, разделенный на два нефа рядом стройных колонн и покрытый двумя панельными каркасами. Между колоннами стояли статуи всех королей Франции, вплоть до Филиппа Красивого. В западном конце находится мраморный стол, с которого делались публичные объявления. Два огромных камина должны были согревать это гигантское помещение, которым посетители будут любоваться вплоть до его уничтожения пожаром в 1617 году. Современный зал Консьержери, который был лишь цокольным этажом, дает представление о размерах памятника.
К северу от главного зала, вокруг внутреннего двора, были построены здания для отправления правосудия, в которых размещались Палата следственного дознания, секретариат уголовного суда и Палата по уголовным делам; северный фронтон фланкировали две башни, сохранившиеся до наших дней, башня Сезара и башня Тур д'Аржан. Рядом находилась резиденция консьержа — офицера, который охранял дворец в отсутствие короля, что бывало почти всегда. Он отвечал за мелкое и среднее правосудие в стенах дворца, а также за охрану заключенных. К западу от Сент-Шапель находилась Счетная палата и Монетный двор. Хозяйственные службы, погреба, кухня и трапезная на 600 мест располагались в северо-восточном углу, где в середине XIV века была построена квадратная башня, оснащенная часами в 1371 году.
Галерея Мерсье, примыкавшая к большому залу с южной стороны, представляла собой церемониальное помещение, в которое можно было попасть по Большой лестнице, состоящей из трех прямых лестничных маршей, ведущих к площадке и большому порталу, у камина которого была установлена статуя короля, справа от которой стоял его сын Людовик, а слева — Ангерран де Мариньи. Но в 1300 году был заложен только фундамент, а эти скульптуры были установлены только в конце царствования Филиппа.
Резиденция короля также была расширена и украшена Филиппом, но неизвестно, жил ли он там до своей смерти. Здесь была его часовня, общественная приемная, большая башня и "зеленая комната", названная так из-за цвета ее отделки. Напротив резиденции, на западе, располагался королевский сад, занимавший всю оконечность острова, в конце которого находился Верхний зал, примерно там, где сегодня стоит статуя Генриха IV. По обе стороны берега располагались островки Иль-о-Ваш и Иль-о-Жуиф (Еврейский остров), где иногда проводились казни. В королевском саду Филипп IV иногда собирал толпу парижан, во время большого конфликта с Папой и дела тамплиеров, чтобы узнать их мнение или, скорее, объявить и мотивировать свои решения.
В центре находилась готическая капелла Сент-Шапель, которая возвышается над всем зданием своими крючковатыми пинаклями, великолепным реликварием из цветного стекла, в котором хранятся предполагаемые части тернового венца и креста Иисуса, а также череп Людовика Святого. К капелле примыкали канцелярия, архивы и помещение для аудиенций короля. Дворец был построен из дорогих строительных материалов из Рейнской области, Голландии, Дании и Фрисландии. Большая лестница была выполнена из мрамора, а для создания фресок в главных залах были привлечены лучшие художники, включая Эврара Орлеанского.
