После этого пришёл черёд Кавказских гор. От Сунженской линии сквозь вековые леса стали прорубаться просеки, по которым русские отряды ходили против «немирных» аулов и областей Чечни. Непокорных горцев Ермолов карал жестоко, по законам военного времени — «немирные» аулы подвергались разгрому, а их жители переселялись из гор и лесов на равнинные земли. По восточным обычаям он приказывал брать заложников — аманатов, которые своей жизнью гарантировали покорность своих соплеменников.
Перенос укреплённой линии с Терека на реку Сунжу консолидировал враждебно настроенных к России горцев — они поняли тактику царского командующего, стремившегося с войсками закрепиться на их территориях. Теперь над теми феодальными образованиями, которые приняли подданство Российской империи — Тарковским шамхальством, каракайтагским уцмием, и другими нависла военная угроза соседей. Для их поддержки Ермолов посылал воинские отряды. Во главе одного из них он нанёс поражение мятежному хану Ахмету и ликвидировал Мехтулинское ханство.
В начале 1819 года генерал Ермолов во главе сильного отряда русских войск штурмом взял высокогорное селение Акуши — центр Акушинского (Даргинского) союза, расположенного в Среднем Дагестане. Акушинцы, один из самых воинственных народов Северного Кавказа, доселе ещё никому не покорялись. Но подданство России им пришлось принять.
Вскоре были покорены Приморский и Южный Дагестан. В Чечне были разгромлены отряды Бей-Булата. Военные экспедиции против закубанских народов — черкесов, которые постоянными набегами тревожили Укреплённую линию на Кубани, также завершились успешно. Наступательная тактика русских войск давала хорошие результаты, и постепенно очаги военного противостояния российскому влиянию в горах стали локализовываться, хотя до окончания Кавказской войны было ещё очень далеко.
За свою деятельность Ермолов получает прозвище «проконсула Кавказа». В подвластном ему Закавказье он упразднил Шекинское, Карабахское и Ширванское ханства (на территории современного Азербайджана), правители которых не раз изменяли клятвам в верности России. Подавил мятежи против местной, своей администрации в Имеретии, Мингрелии и Абхазии.
Суровый к врагам, Ермолов оставался заботливым командиром для своих солдат. Он запретил изнурять нижних чинов и офицеров учениями, прежде всего строевыми. Улучшил продовольственное снабжение. Вместо касок разрешил носить папахи, вместо тяжёлых ранцев — холщовые мешки, вместо шинелей зимой — полушубки. В местах расквартирования полков строились жилые помещения. На сбережённые во время поездки в Персию деньги Ермолов построил в Тифлисе военный госпиталь.
Как глава императорской администрации, генерал А.П. Ермолов многое сделал не только для налаживания мирной жизни на Кавказе, но и для его экономического развития. Расширялась сеть путей сообщения и обеспечивалась их безопасность. Торговля и предпринимательство, особенно горное дело, получили покровительство. На Кавказских минеральных водах были устроены лечебные заведения.
Влияние Ермолова на положение дел на Кавказе и его необыкновенная популярность в русских войсках не остались незамеченными в Санкт-Петербурге. С воцарением Николая I судьба Ермолова была предрешена. Во-первых, он промедлил с приведением к присяге новому императору кавказских войск, ожидая развития событий в столице. Во-вторых, он открыто покровительствовал сосланным на Кавказ декабристам.
Не случайно Николай I писал своему фавориту Дибичу о Ермолове: «…Ему менее всех верю». Император отозвал пятидесятилетнего А.П. Ермолова с Кавказа и отправил его в отставку. Тот поселился в Москве, где пользовался не меньшей популярностью, чем на Кавказе. Более двадцати пяти лет отставной полководец находился не у дел. Когда после его отставки новые командующие кавказскими войсками отошли от ермоловской тактики ведения войны против горцев, то русские войска стали преследовать неудачи, особенно в начале 40-х годов. Возвращение же к тактике Ермолова привело к победному окончанию войны против имамата Шамиля.
В 1853 году, с началом Крымской войны, Ермолов вновь оказался на военном поприще, будучи избран начальником Московского губернского ополчения.
Герой Отечественной войны 1812 года, Бородинского сражения и войны на Кавказе Алексей Петрович Ермолов для истории остался крайне противоречивой фигурой. Он был сторонником суворовских методов воспитания и обучения войск, выступал против линейной тактики и кордонной стратегии, господствовавшей тогда в военном искусстве, отрицательно относился к аракчеевскому режиму, отличался независимым характером и большой властностью. Пребывание же А.П. Ермолова на Кавказе — это целая страница российской военной истории.
