Перед Бородинским сражением главнокомандующий М.И. Голенищев-Кутузов послал генерала Ермолова в армию Багратиона для приведения в порядок её артиллерии, понёсшей большие потери в борьбе с неприятельскими батареями. В критический для сражения момент, когда французы овладели батареей Раевского, Ермолов лично повёл в штыковую атаку батальон Уфимского пехотного полка и отбил у французов оставленные было укрепления. После этого он три часа руководил обороной батареи Раевского, пока не был ранен картечью в шею.
Брат одного из руководителей тайного общества декабристов, Н.Н. Муравьёв писал о тех событиях:
«Алексей Петрович Ермолов был тогда начальником главного штаба у Барклая. Он собрал разбитую пехоту нашу в беспорядочную толпу, состоявшую из людей разных полков; случившемуся тут барабанщику приказал бить на штыки, и сам с обнажённою саблею в руках повёл сию сборную команду на батарею.
Усилившиеся на ней французы хотели уже увезти наши оставшиеся орудия, когда отчаянная толпа, взбежав на высоту, под предводительством храброго Ермолова, переколола всех французов на батарее (Ермолов запретил брать в плен), и орудия наши были возвращены.
Сим подвигом Ермолов спас всю армию. Сам он был ранен пулею в шею; рана его была не тяжёлая, но он не мог долее в сражении оставаться и уехал».
После Бородинского сражения Ермолов был назначен начальником объединённого штаба 1-й и 2-й русских Западных армий. На военном совете в Филях он выступил за новое сражение с Великой армией Наполеона под стенами Москвы.
Алексей Петрович Ермолов отличался не только решительностью и смелостью, но и прозорливостью. Узнав, что французские войска, оставив Москву, двинулись по Боровской дороге, Ермолов по своей инициативе, на свой страх и риск от имени главнокомандующего изменил маршрут движения корпуса Д.С. Дохтурова, направив его к Малоярославцу. Таким образом Наполеону был перекрыт путь к Калуге и дальше на юг России. После ожесточённого сражения при Малоярославце французской армии пришлось отступать по опустошённой ещё при наступлении российской территории.
Как начальник объединённого штаба генерал Ермолов участвовал в организации преследования наполеоновской Великой армии. За участие в Отечественной войне 1812 года герой Бородинской битвы удостоился звания генерал-лейтенанта.
После изгнания французов из пределов России, когда русская армия перешла пограничную реку Неман, должность начальника объединённого штаба была упразднена. В начале заграничных походов русской армии 1813-1814 годов Ермолов был назначен начальником артиллерии союзных армий, затем — командиром гвардейской пехотной дивизии, которая отличилась в сражении при Бауцене, выдержав все атаки французских войск, которыми лично командовал Наполеон Бонапарт. В сражении под Кульмом Ермолов заменил раненого генерала Остермана-Толстого и одержал победу.
При взятии столицы Франции он успешно командовал гренадерским корпусом. «За отличие при взятии Парижа» генерал-лейтенант А.П. Ермолов удостоился полководческой награды — ордена Святого Георгия 2-й степени.
Во время Венского конгресса он командовал обсервационной (наблюдательной) армией на австрийской границе.
В 1816 году Ермолов был назначен командиром Отдельного Грузинского (затем Кавказского) корпуса, затем главнокомандующим русскими войсками в Грузии и одновременно чрезвычайным и полномочным послом России в Персии (Иране). Ему подчинялись Каспийская военная флотилия, Черноморское казачье войско и Терское казачество, Астраханская и Кавказская губернии.
С именем Ермолова связано начало длительной Кавказской войны против горцев. Он был последовательным сторонником активного продвижения Российской империи на Восток.
На Кавказе генерал Ермолов блестяще выполнил возложенную на него дипломатическую миссию. Переговоры в Тегеране для российской стороны завершились успешно. Персия отказалась от территориальных притязаний на кавказские земли, и до 1826 года обстановка на российско-иранской границе была спокойной.
После этого Ермолов занялся «умиротворением» Кавказа, о котором говорил: «Это огромная крепость, надобно или штурмовать её, или овладеть траншеями; штурм будет стоить дорого, и успех его не верен, так обложим же её».
В течение последующих десяти лет командующий русскими кавказскими войсками успешно боролся с «мятежниками»-горцами. Он перенёс укреплённую линию, бывшую южной государственной границей, с берегов Терека на реку Сунжу. В 1818 году здесь был создан опорный пункт русских войск в Чечне — крепость Грозная. Затем Сунженская линия протянулась до побережья Каспийского моря: на ней были построены крепости Внезапная и Бурная. Укреплённые линии создавались и по берегам рек Малки и Кубани.