Узнав, что армия Багратиона идет к Могилеву, Барклай повел свои войска ему навстречу. Этот маневр проходил под непрекращающимся преследованием его войск главными силами французской армии. Вскоре было получено сообщение от князя Багратиона о том, что его войска под Могилевым не смогли прорваться на соединение с войсками 1-й армии и он продолжает дальнейшее отступление к Смоленску. Это вынудило Барклая продолжить отступление и также отходить к Смоленску, где он рассчитывал соединиться со 2-й армией. Соединение армий произошло 22 июля, и это сорвало первоначальные замыслы Наполеона разгромить русские армии поодиночке. Находясь в Смоленске, Барклай подписал несколько воззваний, призывающих все слои населения браться за оружие, создавая партизанские отряды для борьбы в тылу врага. По его приказу был создан один из первых военно-партизанских отрядов во главе с бароном Ф. Винценгероде для борьбы с противником на Петербургской дороге.
В июле авангарды армий Барклая и князя Багратиона в течение 3-дневной стычки разгромили французский корпус Богарне под Молевым.
Наполеон устремился к Смоленску, куда стали отходить и русские войска. Он надеялся подавить их мощью и разгромить в генеральном сражении. Кроме того, ударом с юга он рассчитывал отрезать войска 1-й и 2-й армий от 3-й армии Тормасова.
5 августа французские войска подвергли город мощной бомбардировке из орудий, а затем к Смоленску подошли главные силы французских войск. Чтобы сорвать планы Наполеона, Барклай поручил князю Багратиону прикрыть Дорогобужскую дорогу, обеспечивая его движение частью сил своих войск. Он также подготовил к обороне Смоленск – прикрыл все опасные направления войсками, поставил на высотах артиллерию. Общий штурм города начался во второй половине дня, однако и он был отражен русскими войсками. К вечеру город был охвачен пожарами. Михаил Богданович находился в раздумье – французы снова угрожали русской армии окружением. Он также знал, что 80-тысячной русской армии противостоит 120-тысячная французская, и он отдает приказ о дальнейшем отступлении. Многие генералы пытались возражать, настаивая на том, чтобы оборона Смоленска продолжалась, однако Барклай был непреклонен.
Отступление проходило под непрерывным давлением французских войск, атаковавших русских. Движение армии прикрывали войска генерала П.А. Тучкова, чьи упорные действия позволили войскам Барклая перейти по наплавным мостам через Днепр и выйти на Московскую дорогу.
Чем ближе русские войска приближались к Москве, тем все более в армии и обществе звучали голоса, требующие смены командующего. Все чаще говорили об умышленном отступлении и об «измене» Барклая. В эти дни чрезвычайный комитет решил вопрос о назначении общего главнокомандующего для вооруженных сил России. Им стал М.И. Кутузов. Барклай с обычной стойкостью вынес это, когда же 17 августа Кутузов прибыл в армию, он доложил новому главнокомандующему, что стотысячная армия рвется в бой, который он сам был готов дать на позиции у Царева-Займища. Однако Кутузов, не высказав вслух ни порицания, ни одобрения действий Барклая, все же решил отступать далее на восток. Он считал, что поскольку ключ от Москвы (Смоленск) взят, то теперь местом предстоящего сражения будет сама Москва. Новый главнокомандующий и ранее находился в неприязненных отношениях с Барклаем, а теперь эти отношения еще более ухудшились. 24 августа Александр I подписал указ об отставке Барклая с поста военного министра. Все это привело к тому, что накануне Бородинского сражения Барклай стал мечтать о смерти на поле боя. К 24 августа русские войска, преследуемые французским авангардом, подошли к селу Бородино. Здесь, у Москвы-реки и Новой Смоленской дороги, расположились войска Барклая, занявшие позиции на правом фланге русской армии. В центре поля укреплялась Курганная высота, впоследствии получившая название «батареи Раевского». На левом фланге стояли войска под командованием князя Багратиона.
Бородинское сражение началось утром 26 августа. Правый фланг русских войск был атакован солдатами Евгения Богарне. Навстречу им Барклай послал новые полки. Но и французы при поддержке резервов усилили свой натиск. В течение часового боя село Бородино было захвачено, и на его высотах французы установили свои артиллерийские батареи. Моряки гвардейского экипажа зажгли мост через реку Колочу, и далее на этом направлении французы продвинуться не смогли.
В ходе сражения на левый фланг по приказу Кутузова из 1-й армии были переброшены 2-й пехотный корпус и некоторые гвардейские полки. Это распоряжение было сделано в обход Барклая. Узнав о нем, командующий 1-й армией выехал в ставку и протестовал против изъятия из его войск резервов, которые он предполагал не трогать раньше вечера. Но, убедившись в тяжелейшем положении на левом фланге, Михаил Богданович сам распорядился о переброске к Багратиону 4-го пехотного корпуса и нескольких других полков.
К середине дня центр боевых действий переместился к Курганной высоте, для защиты которой Барклай собрал все свои силы.