Алексей Петрович Ермолов родился в Москве. Учился в благородном пансионе при Московском университете. Военную службу начал рано — в 1791 году в 44-м Нижегородском драгунском полку. С мая 1793 года был квартирмейстером 2-го бомбардирского батальона. Непродолжительное время преподавал в инженерном и артиллерийском шляхетском корпусе в должности репетитора. Затем был переведён в армейскую артиллерию.
Первый боевой опыт Ермолов получил в 1794 году в войне с Польшей. Тогда он зарекомендовал себя с самой лучшей стороны, особенно отличившись при штурме варшавского укреплённого предместья Праги, за что получил орден Святого Георгия 4-й степени из рук самого А.В. Суворова.
После войны с Польшей Ермолов был командирован в Италию в составе рабочей группы, имевшей поручение ликвидировать денежные счета государственного казначейства в Генуэзском банке. По собственной инициативе участвовал в нескольких боях на стороне австрийцев против французских войск в Северной Италии.
На Кавказском театре военных действий впервые оказался в 1796 году, когда артиллерийская батарея, в которой служил Ермолов, в составе русских экспедиционных войск отличилась в Персидском походе брата последнего фаворита Екатерины II Платона Зубова — генерал-аншефа Валериана Зубова. Тогда русские войска, взяв штурмом крепость Дербент, дошли до персидских границ по Араксу. За участие во взятии Дербентской крепости Ермолов был награждён орденом Святого Владимира 4-й степени.
После возвращения из Персидского похода подполковника Ермолова зачислили в артиллерийский батальон Иванова, в котором, по выражению генерала Аракчеева, «у семи офицеров был один мундир».
За участие в смоленском офицерском политическом кружке «Вольнодумцы» в 1798 году Ермолов был арестован и заключён в Петропавловскую крепость. После проведения следствия его сослали в Кострому «на вечное житьё». Вместе с ним ссылку здесь отбывал М.И. Платов (с 1801 года — атаман Донского казачьего войска). В Костроме Ермолов занимался самообразованием, читая в подлиннике римских классиков. Многим тогда казалось, что на этом его военная карьера закончилась.
Однако в армии офицер имел репутацию способного и перспективного артиллерийского командира. Когда начались французские революционные войны, Ермолова возвратили на военную службу. Насторожённое же отношение к себе царских властей он ощущал до последних дней своей жизни.
В войне с наполеоновской Францией 1805-1807 годов Ермолов участвовал в должности командира конно-артиллерийской роты. Он быстро выдвинулся на командные должности во многом благодаря своей храбрости и умению в критические моменты боя брать на себя всю ответственность за его исход.
В составе кутузовской армии Ермолов отличился в сражении при Амштеттине, где его конно-артиллерийская рота, выдвинувшись вперёд, метким огнём прикрыла от французов расстроенные эскадроны Мариупольского гусарского полка. В сражении под Аустерлицем орудийные расчёты Ермолова вели огонь по атакующей вражеской кавалерии до последней возможности, не покинув занимаемой позиции. Затем его 40 орудий прикрывали отступавшую русскую армию на переправе через реку Нарев по единственному мосту.
На территории Восточной Пруссии ермоловская конно-артиллерийская рота отличалась не раз. При отходе русских войск она находилась в составе арьергарда, не раз отбрасывая наседавших французов картечными залпами в упор. В сражении при Прейсиш-Эйлау артиллеристы Ермолова успешно действовали против корпуса маршала Франции Даву. Под Гутштадтом они уничтожили неприятельскую батарею. Под Гейльсбергом на замечание о том, что французская колонна слишком близко подошла к его батарее, Ермолов ответил: «Я буду стрелять, когда различу белокурых от черноволосых».
За отличия в Русско-прусско-французской войне 1806-1807 годов он был удостоен нескольких боевых наград, в том числе золотой шпаги. Его дважды представляли к званию генерал-майора, но каждый раз безуспешно — тогда ещё всесильный Аракчеев был против (Ермолов имел неосторожность резко возразить ему на замечание во время смотра войск).
В 1809 году Алексея Петровича назначили командиром отряда резервных войск, охранявших государственную границу на Волыни и в Подолии, в 1811 году — командиром гвардейской артиллерийской бригады, затем гвардейскими пехотной бригады и дивизии.
Отечественную войну 1812 года Ермолов встретил в должности начальника Главного штаба 1-й русской Западной армии генерала М.Б. Барклая-де-Толли, военного министра России. Он участвовал в сражениях при Валутиной Горе близ Смоленска, Бородино, Малоярославце. За успешный бой у Заболотья получил чин генерал-майора.
