Виктор Эммануил Савойский родился в Неаполе 12 февраля 1937 года. С момента его рождения мальчик получил титул принца Неаполитанского, а позже был провозглашен принцем империи, когда его дед принял титул императора Италии, Албании и Эфиопии. Есть знаменитая фотография почти годовалого Виктора Эммануила со своим дедушкой королем Виктором Эммануилом III. Она сделана его бабушкой Еленой Черногорской незадолго до первого дня рождения принца. На обратной стороне фотографии написано, что она не должна быть опубликована раньше 12 февраля 1938 года, и что сделана ее величеством королевой. Елена пишет, что, когда ребенок родился, он был настолько пухленьким, его лицо было с двойным подбородком, что его прозвали «маленький Будда». Ее это очень обижало.
С детства Виктор Эммануил любил гонять на своих маленьких машинках с большой скоростью, что пугало его бабушку королеву. Он был очень привязан к своим сестрам, особенно к старшей Марии. Их детство пришлось на период Второй мировой войны, младшая дочь Умберто и Марии Хосе родилась в 1943 году. В августе того же года принц Умберто покинул Рим вслед за своим отцом, а жену с четырьмя детьми он срочно отправил сначала в Пьемонт в замок Сар, а потом дальше, в Швейцарию в целях безопасности. В Италию они вернулись только после окончания войны. И то, как оказалось, ненадолго.
После референдума 2 июня 1946 года Мария Хосе вместе с сыном окончательно переехала в Швейцарию на виллу Мерлинге в городе Мейньер, который находится недалеко от Женевы. Принцу в те времена было уже девять лет. Вскоре после войны все титулы в Италии были официально упразднены. Так что бывший наследный принц стал просто Виктором Эммануилом Савойским. Но неофициально все итальянцы благородного происхождения называют свои фамилии вместе с титулами, и Савойя до сих пор используют титул принцев, или князей.
Сестры Виктора Эммануила поселились вместе с отцом в Португалии, но они приезжали в Швейцарию к матери каждый год на летние каникулы. Все дети Умберто и Марии Хосе учились в колледжах, девочки в Португалии, а Виктор Эммануил в лицее Ле Рози, расположенном на берегу Женевского озера. Юноша был очень веселый общительный, скорее всего, это передалось ему от матери. Затем принц учился в итальянском лицее Парето в Лозанне, а потом в католическом институте Ланси.
Везде у Виктора Эммануила было много друзей, которые любили его за доброту и щедрость. Принц предпочитал, чтобы его называли на ты, и просто Виктор. Он говорил, что является обычным человеком, как и все его друзья, и что прошла эпоха принцев-бездельников. Единственное, от чего Виктор Эммануил впадал в ярость, это когда кто-то говорил об Италии без уважения. Правда, если кто-либо начинал обращаться с ним слишком панибратски, Виктор отстранялся.
Виктор Эммануил много и охотно учился. Его описывают как красивого, высокого, умного, интеллигентного, спортивного и общительного молодого человека, который предпочитает пить вино, а не воду. В возрасте 18 лет принц с разрешения отца научился водить самолет и получил патент пилота. Несмотря на запрет представителям династии Савойя на въезд в Италию, Виктор Эммануил побывал там инкогнито в 1957 году, когда ему было 20 лет. Он приехал в Турин на машине под вымышленным именем и посетил один из самых элитных клубов города.
В принципе, принц не сильно рисковал. Если бы его личность была установлена, он бы просто был выслан из страны. Больше рисковали полиция и таможня, которые плохо контролируют въезжающих в Италию. После этого визита принц хотел поступить в университет Турина изучать право, но его туда не приняли все по той же причине запрета мужчинам Савойя на въезд в страну. Пришлось выбирать любой из других европейских университетов, и Виктор Эммануил выбрал Женеву.
