Совместно с корниловцами Алексеевский полк берет Курск. Здесь выходит приказ о разворачивании части в 1-й и 2-й Алексеевские полки. 1-м полком остается командовать капитан Бузун, 2-й же должен был сформировать полковник Гагарин. Позднее (16 октября 1919 года) начинается формирование Алексеевской пехотной дивизии в составе 1-го и 2-го Алексеевских полков, Самурского пехотного полка, Алексеевских артиллерийской бригады, инженерной роты и учебного запасного батальона. Самурский полк был также одной из старейших частей Добровольческой армии. Он возник во время 2-го Кубанского похода как Солдатский полк – из перешедших от красных на сторону белых бойцов РККА. Позднее по просьбе нескольких офицеров части было передано знамя 83-го пехотного Самурского полка старой русской армии, и так он стал Самурским. В дневнике Александра Судоплатова немало слов посвящено бойцам этой части, есть и цветной рисунок: «Алексеевец и самурец – братья по оружию».
После Курска алексеевцы с боями отвоевывают Щигры, Ливны и доходят до городка Новосиль в Тульской губернии. 11 октября – 18 ноября 1919 года состоялось Орловско-Кромское сражение, по сути предопределившее исход Гражданской войны. Под ударами Красной армии войскам Вооруженных сил Юга России пришлось начать отступление.
Через Белгород 1-й Партизанский генерала Алексеева полк отходил до станицы Гниловской – на берегу Дона, недалеко от Ростова. Здесь командование предполагало организовать оборону и не пустить красных дальше. Но этим планам не суждено было сбыться. Когда белые вернулись на казачьи земли, между штабом А.И. Деникина и лидерами кубанского казачества вспыхнул давно назревавший конфликт по поводу независимости так называемой Кубанской народной республики. Деникин приказал разогнать Кубанскую краевую раду (законодательный орган казаков), но в ответ значительная часть кубанских полков покинула фронт и ушла домой. Часть донских казаков решила закончить борьбу, другая – выжидала, наблюдала, как разворачиваются события. В результате войска Вооруженных сил Юга России были деморализованы и, несмотря на героический отпор отдельных частей, отступали к Черному морю. В конце марта 1920 года остатки Добровольческой, Донской и Кубанской армий, погрузившись на корабли в Новороссийске и районе Туапсе, отбыли в Крым, не занятый большевиками.
Новороссийская эвакуация была хаотичной и неорганизованной. Об этом красноречиво свидетельствует дневник Александра Судоплатова. Не смогли эвакуироваться из-за отсутствия кораблей и были брошены на милость красных многие казачьи части. Добровольческие формирования также сильно сократились в численности: в Крым поехали только офицеры и добровольцы. Почти все мобилизованные белыми в течение 1919 года остались дожидаться прихода советских войск. Численность белых значительно сократилась еще и от эпидемии тифа, свирепствовавшей зимой 1919–1920 года. В результате если только в одном 1-м Партизанском генерала Алексеева полку в начале октября 1919 года имелось 1118 штыков, то в Крыму во всех Алексеевских формированиях осталось чуть больше 300 человек.
4 апреля 1920 года в командование Вооруженными силами Юга России вступил генерал П.Н. Врангель. Он был заслуженным офицером Первой мировой войны, хорошо зарекомендовал себя в 1918–1919 годах на постах начальника дивизии, корпуса и армии, был популярен в белых войсках. Одним из первых стратегических решений Врангеля стала попытка выбраться из Крыма в Северную Таврию. Для этого в середине апреля 1920 года было проведено два десанта, оказавшихся безуспешными. В один из десантов (под Геническ) пошла Алексеевская пехотная бригада: 150 алексеевцев, 150 самурцев и 20 юнкеров.
Генический десант подробно освещен в дневнике Александра Судоплатова и в воспоминаниях присоединившегося к алексеевцам после отхода от Ливен 13-летнего кадета 2-го Московского кадетского корпуса Бориса Павлова. Для алексеевцев эта операция закончилась фатально: из десанта вернулась буквально горстка бойцов, в результате чего Врангель принял решение расформировать эту часть. 5 мая 1920 года остатки алексеевцев были сведены в батальон, включенный в состав 52-го пехотного Виленского полка.
Ликвидация одной из первых частей Добровольческой армии вызвала волну протестов среди офицеров. Врангель вынужден был отменить свой приказ, и 14 июня 1920 года восстановил 1-й Партизанский генерала Алексеева пехотный полк. На его пополнение были переданы офицеры и солдаты других расформированных частей. В частности, 3-й батальон был создан из остатков Гренадерской бригады.
