В Тулузе шли лихорадочные приготовления к осаде. В течение нескольких недель муниципалитет собирал припасы. Стены и баррикады были укреплены. Молодой Раймунд собрал большой гарнизон. Перед алтарем базилики Сен-Сернин каноники выставили тело Святого Экзюпери, одного из самых первых епископов Тулузы, который, как считается, защитил город от захватчиков-вандалов в V веке. Людовик подошел с северо-запада 16 июня. Его армия, в отличие от армии Симона годом ранее, была достаточно большой, чтобы окружить город, и горожане, при всем их мужестве, вряд ли были уверены в благоприятном для себя исходе. Они отбили первый штурм и в течение шести недель наблюдали, как войска Людовика располагались лагерем перед стенами города. Однако 1 августа, через сорок пять дней после своего прибытия, Людовик внезапно сжег осадные машины, освободил пленных и ушел со своей армией. Защитники были поражены. Современники были в растерянности, пытаясь объяснить поведение принца. Гийом Пюилоранский считал, что это произошло благодаря доблести гарнизона, который отбил все атаки врага. Другие, особенно северяне, делали мрачные намеки на вероломство и предательство. Возможно, это правда, что часть армии, отслужив свои сорок дней, решила вернуться домой, а другие, несомненно, требовали платы, которую Людовик не мог им предоставить. Но вина почти наверняка лежала на самом Людовике. Он принял крест по принуждению и отказался от него, как только представилась возможность. Принц оставил Амори на год двести рыцарей, но тот ничего не добился. Это был любопытный эпизод, который Гонорий и его легаты, возможно, мудро, обошли благоразумным молчанием.
Двести рыцарей, какими бы желанными они ни были, мало что могли сделать, чтобы остановить поток дезертирства, последовавший за отходом Людовика. Жан и Фуко де Берзи, которых молодой Раймунд отпустил в обмен на коменданта Марманда, собрав банду снова начали терроризировать Тулузен, совершив ряд громких злодеяний. Но зимой они были схвачены, и их отрубленные головы были вывешены над воротами Тулузы. Через несколько недель был захвачен Пюилоран, удерживаемый для крестоносцев женой Фуко де Берзи. Сервиан пал весной 1220 года. Лавор был взят штурмом, а его гарнизон истреблен, за исключением нескольких человек, которые переплыли реку Агу вплавь. Крестоносцы предприняли несколько попыток вернуть инициативу, но все они закончились позорным провалом. Амори осаждал Кастельнодари в течение восьми месяцев, так и не взяв его, и понес большие потери, прежде чем был вынужден отступить; среди погибших был его младший брат Ги, "красивый, верный и доблестный в оружии", который был убит во время одного из первых штурмов. Несколько недель спустя Алан де Руси, знаменитый паладин и один из ближайших соратников Симона де Монфора с 1211 года, погиб при защите Монреаля, который вскоре после этого сдался южанам.
В многочисленных городах жители стояли перед трудным выбором, гадая какая из сторон одержит победу, зная, что от этого зависит их будущее. Большинство из них встали на сторону молодого Раймунда, но без особого энтузиазма. Трудности, с которыми столкнулись жители Ажена, были теми же, что и во всем Лангедоке. Они разделились по этому вопросу почти поровну, хотя в 1212–1221 годах верх одержали монфористы. Это, однако, не помешало сторонникам Раймунда в городе прийти на помощь Тулузе в 1217 году, а летом 1221 года они замышляли открыть ворота для армии молодого Раймунда. Они распространяли тревожные слухи о том, что Амори планирует взять заложников за их верность и конфисковать их имущество. Амори поспешил отрицать, что у него есть такие планы. Он отправил им вкрадчивое письмо, в котором хвалил их за верность и обещал, что не причинит им никакого вреда. Консулы, видимо, успокоившись, обязались принять чиновников Амори и закрыть свои ворота для его врагов. Но молодой Раймунд предложил им лучшие условия: амнистию для монфористов города и обещание предоставить достаточно сильный гарнизон, чтобы противостоять крестоносцам. Через три недели Ажен подчинился Тулузскому дому.
