Однако Людвиг все еще жаждал императорской коронации, поэтому, когда его сторонники-
Неаполитанцы знали, что близость к враждебной Сицилии делает их уязвимыми для войны на два фронта, и давно опасались именно такой ситуации. Роберт в Неаполе и Карл во Флоренции внимательно следили за продвижением Людвига по Италии. Понимая, что его главной целью является Неаполь, многие северные итальянские города с радостью подчинились Людвигу, чтобы он оставил их в покое.
В этот момент король Роберт счел ситуацию достаточно тяжелой, чтобы отозвать Карла домой и подготовиться к ожидаемому германскому вторжению. Герцог Калабрийский вместе со своей беременной женой и двухлетней дочерью, а также со всем своим двором выехал из Флоренции, оставив город под защитой наместника с армии в 1.000 солдат, и мрачном настроении направился в Неаполь, смирившись с предстоящей войной.
Но, как это часто случалось в Средние века, в дело вмешались политика, тщеславие и банальная случайность. Папа, узнав о коронации Людвига в Риме, нанес ему ответное оскорбление, издав в Авиньоне буллу, низлагающую его как императора. В отместку Людвиг подписал прокламацию о низложении Папы и назначил в Риме нового, по своему выбору. Затем, вместо того чтобы уйти из города и объединиться с сицилийцами, Людвиг, возможно, реагируя на критику, высказанную Виллани, остался в Риме, чтобы организовать вторую свою коронацию, на этот раз назначенным им Анти-Папой. Празднества, связанные с этой второй коронацией, настолько истощили финансовые ресурсы императора, что он больше не мог платить своей армии, и поэтому, когда жители Рима восстали против него в августе 1328 года, Людвиг был вынужден отступить в Германию. Анти-Папа бежал в Пизу, но вскоре попал в руки врагов, и провел оставшиеся дни в заключении во Франции. Перспективы
Бесславное отступление императора можно было бы считать безоговорочным триумфом неаполитанцев, если бы оно не было омрачено трагедией: неожиданной смертью герцога Калабрийского после возвращении в Неаполь. Отец Иоанны умер 9 ноября 1328 года, но не от засады устроенной врагами во время его поспешного возвращения домой, не от ран или падения с лошади, во время подготовки к войне, а от лихорадки, вызванной длительным нахождением на жаре во время его любимой соколиной охоты. Кронпринц был похоронен в усыпальнице при церкви Санта-Кьяра в одном из "стойл", которые он ранее высмеивал. "Корона упала с моей головы"[16], — скорбел убитый горем Роберт. Остроумный ответ Роберта, на насмешку своего сына, сбылся, или, возможно, хронисты, как это часто случалось, сочинили этот пророческий ответ уже позже.
Когда три года спустя умерла и их мать, Мария Валуа, и ее тоже похоронили в церкви Санта-Кьяра, Иоанна и ее младшая сестра, Мария, остались сиротами. В результате девочки воспитывались при роскошном дворе своего деда по отцовской линии, Роберта, короля Неаполя, и его второй жены, Санции (Санчи) принцессы Майоркской.