Как бы ни было обидно Иоанне лишиться власти столь унизительным образом, она, несомненно, получила некоторое удовлетворение, наблюдая, как Эмери так убедительно проваливается на своем новом посту. Первыми действиями легата было отстранение от власти всех членов правящего Совета и других уважаемых и влиятельных придворных, принадлежавших к старому режиму, а также замена каждого из губернаторов различных провинций королевства новыми чиновниками. Старые управленцы тут же запротестовали против своих отставок; сельские жители восстали против новых назначенцев; множество горожан использовали возникший хаос как предлог для уклонения от уплаты налогов; доходы упали; жалованье служащим не выплачивались; произошли вспышки насилия; усилился бандитизм; возрос общий уровень преступности. Открытая оппозиция легату в виде писем и жалоб, осуждающих политику Эмери, наводнила двор. Кардинал упрекал нарушителей и приказывал применить репрессии, но никто не выполнял его распоряжений. Сама Иоанна использовала правление легата как основание для отказа выплачивать Папе ежегодную дань в размере 7.000 золотых
Между жалобами на Эмери, исходившими из Неаполя, невыплатой дани, постоянным давлением со стороны кардинала Талейрана и Людовика Дураццо с требованием ограничить внешнее управление шестью месяцами и все более требовательными и искренними мольбами легата об отзыве, Климент начал думать, что он, возможно, совершил ошибку. Когда Филипп VI Французский добавил свои возражения к возражениям неаполитанцев, решение было принято. 19 ноября 1344 года Папа написал письмо Иоанне, в котором сообщил, что, поскольку она проявила должное смирение и послушание, а также значительно возмужала под руководством Эмери, молодой королеве больше не нужны услуги легата, чьи таланты, в любом случае, востребованы в другом месте. Таким образом, понтифик возвращал правление Неаполитанским королевством его восемнадцатилетней государыне. Вместо легата Климент решил послать Иоанне нунция, но только в качестве советника; этот новый папский представитель не мог ни издавать указы, ни вмешиваться в ее управление.
Отзыв легата впервые предоставил Иоанне полную свободу действий. По иронии судьбы, своим вмешательством, первоначально оправданным ее молодостью и неопытностью, Климент освободил Иоанну от сдерживающего влияния правящего Совета, созданного по воле Роберта и опирающегося на Санцию, как на опытного политика. Если старый король пытался уберечь внучку от тяжелой ответственности самостоятельного правления, пока она не достигнет более зрелого возраста — двадцати пяти лет, то теперь Папа сам передал ей это право. Единственная деталь, омрачающая эту счастливую случайность, заключалась в том, что Эмери, не получив конкретных распоряжений, упорно отказывался покидать свой пост до прибытия своего сменщика, нунция. Поскольку нунций задержался до мая следующего года, легат оставался в Неаполе еще шесть месяцев. За это время Эмери хоть постепенно и отказался от законодательной деятельности, но официально вернул королеве полный контроль над правительством только перед самым отъездом.
Однако, получив письмо Климента от 19 ноября, Иоанна больше не чувствовала себя скованной ни суровыми наставлениями и заявлениями кардинала, ни отсутствием официальной церемонии передачи власти, должным образом зафиксированной в письменном виде и переданной Папе. Неаполитанский двор за время короткого пребывания Эмери на посту правителя быстро распался на враждующие группировки, и королева должна была быстро принять меры, чтобы хотя бы защитить себя. Папа юридически подтвердил ее исключительное право на правление, но этого было недостаточно, чтобы обезопасить ее в нынешней нестабильной политической обстановке. Союз между Андреем и братьями Пипини, в частности, нанес существенный ущерб ее положению. Иоанна понимала, что теперь, когда у ее мужа появилась столь мощная поддержка в королевстве, обещанная ему коронация представляла реальную угрозу ее суверенитету. После публичной церемонии коронации Андрей вряд ли стал бы придерживаться ограничений, наложенных понтификом. Также нельзя было ожидать, что ее подданные смогут отличить почетный титул от реального и если Андрей отдаст какой-либо приказ, ему подчинятся. Более того, Иоанна предвидела, что теперь, когда Андрей повзрослел, ей будет все труднее контролировать его, как раньше. Поэтому лучшим способом помешать мужу обрести власть было бы не допустить проведения церемонии коронации и она отказалась назначить дату и попросила Людовика Дураццо и кардинала Талейрана направить свои усилия на то, чтобы убедить Климента отказаться от обещания коронации Андрея.
