Для экипажа «Алабамы» победа над «Гаттерасом» имела большое моральное значение: в то время, как газеты Севера поносили их «сбродом, набранном со всей Англии» и «пиратами», они доказали, что способны вести честный бой с боевыми кораблями неприятеля и при этом побеждать.
Но следующее такое сражение стало для «Алабамы» роковым. Беспримерный анабазис рейдера южан продолжался уже два года, когда Семмес решил зайти 6 июня 1864г. во французский порт Шербур для ремонта изрядно поизносившегося судна. Капитан федерального стационара в европейских водах шлюпа «Кирсардж» Джон Уинслоу (John A. Winslow) узнал об этом и направил свой корабль в этот французский порт. Правда, от французских властей он добился лишь того, что «Алабама» не будет оставаться в гавани дольше отмеренного по международным законам срока, ограничивающего пребывание боевых судов воюющих сторон в нейтральных портах. После чего «Кирсардж» покинул Шербур и, отойдя за границу территориальных вод, принялся ждать выхода «Алабамы» и готовиться к бою: по образцу судов Фаррагута под Новым Орлеаном, на «Кирсардже» были натянуты вдоль бортов цепи, жизненно важные части защищались углём.
19 июня «Алабама» вышла из гавани Шербура навстречу своей судьбе. Берег пестрел толпами праздных французов, пришедших поглазеть на сражение двух судов, которое должно было разыграться перед ними, словно на арене цирка; на море маячили паруса множества яхт и катеров, пассажиры которых желали полюбоваться этим зрелищем вблизи. Здесь же темнел и угрюмый силуэт французского броненосца «Нормандия», который должен был присматривать за тем, чтобы все правила нейтралитета были соблюдены.
Кстати говоря, среди зевак на берегу находился и знаменитый французский художник Эдуард Манэ, который впоследствии даже нарисовал картину «Бой «Алабамы» с «Кирсарджем». Силы противников были примерно равны: «Кирсардж» был чуточку крупнее и имел в качестве коронного козыря две одиннадцатидюймовки Дальгрена, «Алабама» несла на одно орудие больше и ее главным аргументом была нарезная 7-дюймовка Блэкли (рейдер был вооружен пушками британского образца, Теофил Александр Блэкли – известный английский конструктор нарезной артиллерии того периода).
Первой открыла огонь «Алабама»; «Кирсардж» не отвечал, пока дистанция не стала менее километра; выйдя на траверз друг другу, оба противника закружились, словно оказались на противоположных концах диаметра гигантской воронки, медленно их затягивающей.
Единственный выстрел мог бы решить исход этой схватки: семидюймовый снаряд с «Алабамы» попал в кормовой рулевой пост «Кирсарджа», и, если бы взорвался, то мог бы вывести из строя управление шлюпом и сделать его положение безнадёжным. Но не сработал взрыватель; стофунтовый снаряд застрял в деревянной преграде; а далее, по мере сокращения дистанции, все губительнее становились попадания 11-дюймовых бомб с «Кирсарджа» в «Алабаму».
Одна из таких бомб взорвалась на батарейной палубе и перебила 8 человек из прислуги 32-фунтовых орудий. Вскоре на рейдере открылась подводная течь. Прошел час с начала боя, и стало ясно, что «Алабама» обречена. Неизвестно, что сыграло большую роль в этом поражении удачливого до сей поры корсара: одни считают, что за два года крейсерства на «Алабаме» испортился порох и запалы к взрывателям; кто-то считает, что канониры рейдера, задав изначально слишком высокий темп стрельбы, слишком часто мазали, беря чрезмерно высокий прицел. Как бы то ни было, но выпустив 370 снарядов, «Алабама» не причинила своему противнику сколько-нибудь существенного вреда: на «Кирсардже» были ранены всего два моряка.
«Кирсардж» ответил 173 выстрелами, которые буквально превратили рейдер южан в развалину, медленно уходящую под воду. Когда сопротивление стало безнадежным, раненный Семмес приказал поднять белый флаг; но сам выбросил свою шпагу за борт, не желая сдавать ее по старинному обычаю капитану-победителю. Впрочем, морская удача напоследок еще раз улыбнулась ему: британская яхта «Дирхаунд» («Deerhound»), «словно случайно» оказавшаяся в эти минуты рядом, приняла на борт и Семмеса, и еще 41-го человека из команды «Алабамы». Остальные попали в плен к северянам.
В Англии Семмес был принят более чем благожелательно и некоторое время находился там на излечении. В 1865 г. он отбыл в Америку; в Ричмонде ему присвоили звание контр-адмирала. Некоторое время он командовал морскими силами на реке Джеймс, а после их гибели – в чине бригадного генерала «морской бригадой», составленной из моряков его судов. После падения Ричмонда бригада эта по частям пыталась прорваться к разным очагам продолжающегося сопротивления, но Рафаэлю Семмесу пришлось таки сдать свою шпагу: он был взят в плен. В 1866 г. арестован по обвинению в государственной измене, но вскоре отпущен; до конца жизни жил жизнью добропорядочного гражданина, занимаясь преподавательской и юридической практикой, а также писательством.