В конце 14 в. Савойский двор покинул Шильон, и замок стал приходить в запустение. Место герцогов Савойских заняли наместники, выбиравшиеся среди аристократии Берна вплоть до 1798 г., когда замок был занят жителями города Веве и здесь разместились арсенал и артиллерийский склад.
Шильон расположен на каменистом утесе, вытянутом с севера на юг, поэтому он имеет форму вытянутого овала, большая ось которого параллельна береговой линии. При этом со стороны озера замок укреплен слабо, т.к. Женевское озеро принадлежало герцогам Савойским, и на нем базировалась их флотилия. Основные укрепления замка расположены со стороны рва и дороги – здесь замок окружен двойной стеной, укрепленной тремя круглыми и одной четырехугольной башнями. Стены из серого камня завершаются крытой дозорной галереей, верхние площадки башен с навесными бойницами-машикулями увенчаны коническими и пирамидальными крышами. Между четырехугольной и первой круглой башней подъемный мост через ров ведет в первый внутренний двор, расположенный в северном конце овала, который окружают апартаменты наместника. Проход через внутреннюю стену выводит во второй двор, основное здание с парадными залами герцогского дворца в котором расположено со стороны озера. В третий двор выходят личные апартаменты герцога, а из четвертого двора, расположенного между двумя линиями стен по-соседству с первым, можно попасть в подземные казематы.
Центром архитектурного ансамбля замка является четырехугольный донжон высотой 25 м, самое высокое сооружение Шильона, связанный со всеми четырьмя дворами. «Подземелья», находящиеся, правда, выше уровня воды, крыты крестовыми сводами, поддерживаемыми рядами восьмигранных колонн, к одной из которых был прикован Шильонский узник, описанный побывавшим здесь Байроном. Здесь же находятся остатки древней крипты стоявшей здесь когда-то часовни св. Пантелеймона.
Дворы опоясывает деревянная крытая обходная галерея, проложенная на высоте второго этажа, на которую выходят двери помещений замка, с нее по внешней лестнице можно спуститься вниз. Стены залов замка покрыты плиточным узором, образующим ленты серого и белого или ярко-красного и белого цветов, иногда вместо лент используются V-образные узоры. Комнаты перекрыты деревянными балочными потолками, в них установлены большие камины с вытяжными колпаками. В больших парадных залах своды поддерживаются рядами тонких деревянных или мраморных (как в Большом графском зале) колонн. Сдвоенные стрельчатые окна в нишах украшены наверху розеткой или четырехлистником, в нишах перед окнами расположены скамейки.
В южном конце овала находятся небольшие комнаты личных апартаментов герцога, позволяющие окунуться в атмосферу обыденной жизни обитателей замка – спальня, гардеробная, отхожие места, нависшие над крепостной стеной прямо над озером. Из спальни винтовая лестница вела в башню, где располагалась часовня со сводом, перекрытым крестообразно пересекающимися нервюрами. Здесь, как и в спальне герцога, сохранились остатки фресковой росписи стен.
Все личные апартаменты герцога относятся к 13 в., лишь парадные апартаменты были позднее частично переделаны в 15 в., когда здесь обосновались бернские правители-бальи. Так, в бывшем большом приемном зале, известном теперь как Зал гербов, появился фриз, на котором изображены гербы всех бальи, управлявших замком.
Дозорный путь, проходящий по стенам замка, обоходит все внутренние дворы и ведет мимо донжона, где на одном из уровней находилась герцогская сокровищница.
Величественный замок 13-16 в.в. возвышается над городком. Он построен на укрепленном плато, опоясанном серой кирпичной стеной 12 в. с несколькими бастионами. Комнаты графов расположены в южной части замка, к юго-восточному углу здания снаружи примыкает мощный круглый донжон с коническим шпилем, а внутри, во дворе, пристроена восьмигранная башня с винтовой лестницей.
На эспланаде перед замком построена готическая часовня 14-15 в.в. с треугольным фасадом с арочным порталом, над которым вздымается башня с аркадой звона, рядом находится крытый колодец и здание кухни с большой печью.
