В начале января 1504 года Чезаре получил еще один удар: по дороге в Феррару захватили две его повозки с имуществом. Одна повозка следовала из Чезены, другая — из Рима. В повозке из Чезены было много добра из комнат Александра, взятого Микелотто в день смерти понтифика. Там была инкрустированная драгоценными камнями каминная доска из базилики Святого Петра, запрестольные образа, золотые чаши и драгоценные камни, восемьдесят огромных жемчужин и «кот из золота с двумя великолепными бриллиантами вместо глаз». Переправляли эти вещи от имени Ипполито, а это доказывает, что под влиянием Лукреции Эсте до сих пор готовы были помогать Чезаре. Ипполито и Лукреция делали это активно, как явствует из апрельского письма 1504 года, адресованного Ипполито, но упоминающего Лукрецию. Автор письма — Хуан Артес, командир галер Чезаре. В качестве «хорошей новости» Артес сообщил, что достигнуто соглашение, в результате которого кастеляны Валентинуа передадут папскому представителю его крепости, после чего Чезаре выпустят из Остии и он беспрепятственно приедет в Неаполь. В Неаполе Чезаре, и сам большой обманщик, оказался жертвой двойного предательства. Менее всего ожидал этого Валентинуа от «великого капитана», Гонсальво Кордовского. 26 мая, накануне отбытия корабля в Тоскану, Чезаре пришел проститься и был арестован капитаном, хотя до сих пор в отношении к нему Шнсальво не было и намека на подобное развитие событий. Чезаре стал жертвой международной интриги между папой и королевской четой Испании. Папа боялся выпущенного на свободу Валентинуа, а короли всячески угождали папе, желая добиться от него двух вещей: во-первых, разрешения на брак Катерины Арагонской с братом покойного ее мужа, будущим английским королем Генрихом VIII, а во-вторых, инвеституры на Неаполитанское королевство. Кроме того, имеются сведения, что вдова Хуана Гандийского, убежденная в том, что Чезаре убил ее мужа, лично обратилась к королю Испании с просьбой вернуть Валентинуа и казнить за его совершенное им преступление. В августе Чезаре лишился последней своей собственности в Романье. и преданный ему кастелян, Гонсаль-во де Мирафуэнтес, выехал из крепости Форли с поднятым вверх копьем. С этого момента Чезаре потерял все, ибо в Форли хранилось у него добро, награбленное в Урбино, включая и знаменитую библиотеку. Со слезами на глазах Гвидобальдо вернул себе утраченную собственность, а папские агенты схватили остальное имущество. Несколько дней спустя арестованного Чезаре переправили на корабле в Испанию.
Лукреция сокрушалась о судьбе брата. Эрколе написал ей письмо, из которого видно, какую симпатию завоевала у него невестка: «Не печальтесь, мы любим Вас искренно и нежно, как родную дочь, а потому не оставим его. Мы хотим быть ему добрым отцом и хорошим братом». Тем не менее Эрколе мало что мог сделать, разве что «уповать на Господа нашего, который не бросает тех, кто в Него верит».
И в самом деле, когда пришло письмо Артеса, понапрасну ее обнадежившее, Лукреции не к кому было обратиться, кроме свекра, состояние здоровья которого сильно ухудшилось. 13 апреля Альфонсо уехал в продолжительное путешествие по европейским дворам. За это время он посетил Париж, в Брюсселе познакомился с будущим Карлом V, а в Англии его «обласкал» король Генрих VII. Ипполито успел поссориться и с отцом, и с понтификом. Гонец, прибывший к Ипполито, привез ему распоряжение папы, чтобы он передал некоторые свои феодальные владения другому лицу. Ипполито рассвирепел и избил несчастного гонца. Когда возмущенный Эрколе приказал ему написать папе письмо с извинениями, тот в грубой форме отказался и был сослан в Мантую, после чего отец и сын обменялись сердитыми письмами. «Поскольку ты был дерзок и неблагодарен, не удивляйся, что мы выслали тебя из нашего государства. Мы думаем, что такое поведение не дает тебе права быть подле нас», — так 24 апреля ответил Эрколе на оскорбительное письмо сына. В тот же день по реке По прибыл Франческо Гонзага, с тем чтобы примирить Эрколе и Ипполито. Вмешательство его оказалось успешным, и кардинал успел к устраиваемым каждый год в Ферраре скачкам в честь святого Георгия. Лошадь Изабеллы выиграла в тот раз первый приз — Палио.
