Эта первая опала продолжалась недолго. Людей подобных Аракчееву было мало, и император вскоре почувствовал, как сильно ему не хватает преданного слуги. Уже в мае он возвратил Аракчеева на службу, восстановил в должности генерал-квартирмейстера, поручив также исполнять обязанности инспектора всей артиллерии. Вскоре Аракчеев был пожалован в графы и получил разрешение включить в свой герб девиз: «Без лести предан». В октябре 1799 г. его постигла вторая опала, на этот раз из-за пустяка. В артиллерийском складе кто-то украл позумент со старинной гвардейской колесницы. По уставу Аракчеев должен был немедленно сообщить о пропаже императору, но караул во время кражи нес батальон его брата Андрея Аракчеева. Стараясь выручить его, Алексей Андреевич солгал императору, что охрана была якобы от полка генерал-лейтенанта Вильде, который и был немедленно отстранен от должности.
Однако обман открылся, и оба брата «за ложное донесение» были отправлены в отставку, причем старшему Аракчееву было запрещено приезжать в столицу.
Четыре года Аракчеев почти безвыездно провел в своем грузинском имении. Только в мае 1803 г. сменивший Павла Александр I вызвал его в столицу, восстановил на службе и вновь назначил инспектором всей артиллерии. Кампанию 1805 г. Аракчеев провел в его свите. В битве при Аустерлице Александр предложил ему командовать одной из колонн, но Аракчеев отказался, сославшись на расстроенные нервы. Это создало ему в среде действующих военных славу патологического труса, но нисколько не уронило в глазах императора. В 1807 г. Александр присвоил Аракчееву чин генерала от артиллерии с назначением состоять при императоре «по артиллерийской части». В январе 1808 г. он стал военным министром и генерал-инспектором всей пехоты и артиллерии.
Находясь на этих постах, Аракчеев сумел провести целый ряд существенных» преобразований. Было значительно улучшено обучение рекрутов, введена дивизионная организация, военная коллегия получила право самостоятельно решать многие вопросы. Особенно много было сделано в артиллерии. Артиллерийские подразделения выделились в отдельный, самостоятельный от армейских полков, род войск и были сведены в роты и бригады. Почти наполовину уменьшились калибры орудий, что привело к уменьшению их веса и увеличению маневренности. Значительные перемены произошли на заводах, выпускавших оружие и боеприпасы. Аракчеев очень интересовался техническими новинками и был всегда в курсе дела по этой части. Он написал несколько статей по вопросам технологии изготовления пороха, селитры и выполнения боевых стрельб. Все это заметно увеличило боеспособность артиллерии.
Как и прежде, Аракчеев был неумолим к казнокрадам и всяким нарушителям дисциплины. «Приказать и взыскать», — таков был его метод управления военными делами империи. При этом он не принимал никаких возражений — в неумении, незнании или в невозможности выполнить приказание. Среди солдат дисциплина укреплялась с помощью розог, палок, шпицрутенов. Доставалось и проштрафившимся офицерам: аресты, разжалования, увольнения со службы широко практиковались во время министерства Аракчеева. Александр очень ценил его требовательность, но не всегда считал нужным безоговорочно поддерживать своего любимца. В годы, когда император проводил либеральные реформы, Аракчееву приходилось делить свое влияние с другим видным выдвиженцем Александра — Сперанским и даже иногда отступать перед ним. Так, после одного столкновения со Сперанским Аракчеев в 1810 г. уехал в Грузино и послал императору просьбу об отставке. Александр не принял ее, но Аракчеев все равно ушел с поста военного министра. Император поручил ему возглавить департамент военных дел в только что образованном Государственном совете. В мае 1812 г. Аракчеев сопровождал Александра в поездке в Вильно, а после начала Отечественной войны — в укрепленный лагерь при Дриссе. Позже он посетил вместе с ним Москву и вернулся в Петербург. Все это время он находился несколько в тени.
