На советско-германский фронт 2-я армия прибыла только к концу июля 1941 года. Штаб же армии во главе с Вейхсом прибыл в распоряжение командующего группой армий «Центр» генерал-фельдмаршала Ф. фон Бока к началу нападения фашистской Германии на Советский Союз и 30 июня возглавил пехотные дивизии, входившие до этого в состав 4-й армии. Во главе их Вейхс вместе с 9-й армией участвовал в разгроме окруженной в районе Белостока группировки советских войск. В результате ликвидации Белостокского котла немецко-фашистские войска взяли в плен около 290 тыс. человек, захватили 2500 танков и 1500 орудий. В конце августа 1941 года Вейхс одержал победу в сражении под Гомелем, где его войска захватили в плен свыше 80 тыс. человек. Затем поддерживал удар генерала Г. Гудериана на Киев, в тыл войскам советского Юго-Западного фронта, завершившийся также крупной победой немецко-фашистского вермахта. В сентябре-октябре 1941 года 2-я армия сыграла важную роль в окружении и разгроме брянской группировки советских войск.
В конце ноября 1941 года Вейхс, тяжело заболев и сдав командование 2-й армией генералу Р. Шмидту, убыл на лечение в Германию. Вернулся на фронт в середине января 1942 года, когда 2-я армия вела тяжелые оборонительные бои на рубеже Орел, Курск. Это был период общего контрнаступления Красной Армии зимой 1941/42 годов. В конце июня 1942 года на северном фланге группы армий «Юг» возглавил группу «Вейхс», в состав которой вошли его 2-я армия, 4-я танковая армия (генерал Г. Гот) и 2-я венгерская армия (генерал Г. Яни). Участвовал в неудачном наступлении генерал-фельдмаршала Ф. фон Бока на Воронеж. 13 июля 1942 года назначен командующим группы армий «Б», заменив на этом посту генерал-фельдмаршала Ф. фон Бока. В ее состав, кроме немецких 2-й и 6-й армий, вошли недостаточно надежные в боевом отношении армии союзников — 2-я венгерская, 3-я румынская и 8-я итальянская армии.
Возглавлял немецко-фашистские войска в ходе развернувшейся в июле 1942 года Сталинградской битвы — крупнейший битвы Второй мировой войны. В августе 1942 года разгромил на Среднем Дону, в районе Калача, 2 советские армии (1-ю танковую и 62-ю общевойсковую). Неоднократно обращал внимание верховного командования (ОКВ) и лично Гитлера на опасное положение флангов его группы армий. Но все его предостережения оказались безрезультатными. Когда Красная Армия перешла в контрнаступление под Сталинградом, Вейхс обратился к Гитлеру с просьбой разрешить отвести 6-ю армию, над которой нависла угроза окружения, из района Сталинграда за Дон, но получил отказ. В конце ноября 1942 года в связи с созданием на сталинградском направлении группы армий «Дон» (генерал-фельдмаршал Э. фон Манштейн) большая часть войск, входивших до этого в группу армий «Б», была передана в новую группу армий. В распоряжении Вейхса остались лишь 2-я армия и итальянская 8-я армия, которые были разгромлены Красной Армией в январе 1943 года. Несмотря на столь сокрушительное поражение, которое Вейхс потерпел под Сталинградом и на Дону и какого немецко-фашистская армия еще ни разу за всю войну не испытывала, 1 февраля 1943 года Гитлер произвел Вейхса в генерал-фельдмаршалы. 14 февраля 1943 года остатки группы армий «Б» были расформированы, а ее штаб выведен в резерв ОКХ (главное командование сухопутных войск). 10 июля 1943 года он также был расформирован. Но не у дел Вейхс находился недолго. 25 августа 1943 года он был назначен командующим вновь созданной на Балканах группой армий «Ф» (около 600 тыс. человек). Основное назначение этого оперативно-стратегического объединения заключалось в ведении борьбы с югославскими партизанами и несении оккупационной службы на Балканах. После капитуляции Италии и ее перехода на сторону антигитлеровской коалиции произвел захват контролируемых итальянцами территорий на Балканском полуострове.
Понимая всю бесперспективность борьбы с восставшими против немецко-фашистских оккупантов балканскими народами, Вейхс в сентябре 1943 года обратился к Гитлеру с предложением вывести германские войска с Балкан и использовать их на других фронтах, но получил отказ. В конце 1943 года провел против югославских партизан 3 крупных наступательных операции, которые имели лишь частичный успех. Будучи не в силах сломить волю югославского народа к сопротивлению, установил на контролируемой его войсками территории жесткий оккупационный режим, не останавливаясь перед массовыми казнями заложников и проведением тактики «выжженной земли». В конце 1943 года в оперативное подчинение Вейхса была передана находившаяся в Греции группа армий «Е», и он, таким образом, объединил под своим командованием все немецко-фашистские войска на Балканах.
