Назначение Альборноса вызвало в Италии серьезные опасения. Если Папа Климент довольствовался тем, что доверял контроль над папскими владениями местным баронам, пока в Авиньон поступал постоянный поток доходов, то Иннокентий VI был гораздо более тверд в своем подходе к владычеству над церковными
Для борьбы с Бернабо, жестоким разжигателем войны, склонным к буйству и девиантной сексуальной активности, требовалось значительно больше войск, чем было в распоряжении Альборноса, но кардинал был готов использовать бандитов из вольных компаний, которые все еще находились в Тоскане, терроризируя местное население. Однако политика Альборноса шла вразрез с политикой Флоренции, которая, измученная бесчинством банд, обратилась к Неаполю с просьбой помочь избавить Италию от вольных компаний. Когда Иоанна и Людовик Тарентский встали в этом вопросе на сторону Флоренции, а не Альборноса, Иннокентий наказал их, назначив кардинала легатом в Неаполитанском королевстве.
Возмущение и гнев королевского двора по поводу этой унизительной тактики были столь же явными, как и при назначении Климентом VI кардинала Эмери, но Иоанна уже не была политическим неофитом и кроме того, Иннокентий был у власти достаточно долго, чтобы она его изучила. Клименту она послала бы теплые приветствия и единовременную взятку, но Иннокентий предпочитал постоянные налоговые поступления и почтение, поэтому Никколо Аччаюоли был спешно отозван из Ахайи, куда он отправился позаботиться о своих интересах и интересах Роберта Тарентского после триумфа на Сицилии. Отправленный в Авиньон, он привез с собой столько денег, сколько они с Людовиком Тарентским смогли собрать. Аччаюоли, к тому времени уже опытный дипломат, прибыл в марте 1360 года и добился того, что к маю легат был отозван, а интердикт снят. Папа был так впечатлен неаполитанским посланником, что даже вручил Никколо Золотую розу и отправил его в Милан в качестве папского посла, чтобы узнать, можно ли предотвратить войну города с Альборносом. Там Никколо попробовал применить свою обычную тактику, предложив Бернабо Висконти 100.000
Видя, что его преимущество тает, Людовик Дураццо вместе с группой неаполитанских дворян, все еще верных его дому, весной 1360 года вновь попытался поднять мятеж со своей базы в Апулии. Поскольку Никколо покинул королевство, Людовик Тарентский сам возглавил армию против мятежников. Неаполитанский король осадил и разрушил замки многих сторонников Дураццо, вынудив своих противников сдаться и заключить перемирие. Кроме того, Людовик Дураццо был вынужден отдать своего единственного ребенка, Карла, под опеку Неаполитанской короны, чтобы тот воспитывался при дворе Иоанны, как залог хорошего поведения его отца в будущем. Мальчику было всего три года, когда его привезли в Кастель-Нуово, и королева сразу же приняла его. Возможно, он напомнил Иоанне ее собственного маленького сына, Карла Мартела, который был очень близок к этому возрасту, когда она видела его в последний раз, до того как война с венграми заставила ее бежать из Неаполя[222].