Но приближалась война, и Гитлер нуждался в опытных генералах. Поэтому уже в октябре 1938 года Клюге вновь был призван на службу. Ему было поручено сформировать и возглавить 6-ю армейскую группу (Ганновер), в состав которой вошли 9, 10 и 11-й военные округа (всего 6 дивизий). В августе 1939 года на базе этой группы была развернута 4-я армия, командующим которой стал Клюге. На этот пост Гитлер назначил его не без колебаний, т. к. сомневался в способности Клюге командовать армией в боевой обстановке. К тому же против кандидатуры Клюге выступал ненавидевший его Г. Геринг. Так что Польская кампания 1939 года стала для Клюге своего рода экзаменом на зрелость. И Клюге его блестяще выдержал, получив за свои победы в Польше чин генерал-полковника. Гитлер больше не сомневался в его военных способностях. Затем Клюге отличился во Французской кампании 1940 года, за которую был произведен в генерал-фельдмаршалы (19 июля 1940 года) и награжден Рыцарским крестом. В ходе этой кампании 4-я армия, действуя в составе главной ударной группировки немецко-фашистских войск, нанесла удар через Бельгию в общем направлении Намюр, Камбре. Затем, развернув фронт наступления на северо-запад, охватила с юга группировку союзников в районе Дюнкерка, создав так называемый Дюнкеркский котел.
После эвакуации англо-французских войск из этого котла Клюге развернул наступление из Фландрии в югозападном направлении, овладел городами Амьен и Руан, оккупировал Нормандию и Бретань и завершил эту победоносную для германской армии военную кампанию взятием 23 мая города Ла-Рошель. После разгрома Франции 4-я армия была переброшена в Польшу.
Клюге принадлежал к числу тех немногих германских военачальников, которые поддерживали идею нацистского руководства о нападении на Советский Союз. В первые же дни войны против СССР возглавляемые Клюге войска окружили в районе Белостока крупную группировку советских войск. Ее уничтожение затем завершили немецкие 2-я и 9-я армии. А Клюге 26 июня получил приказ Гитлера объединить под своим командованием 2-ю и 3-ю танковые группы и развивать стремительное наступление в глубь советской территории, к Днепру. Войска 4-й армии поступили в подчинение штаба 2-й армии (генерал М. фон Вейхс). 5 августа 1941 года войска Клюге захватили Смоленск. В августе 1941 года Клюге снова вступил в командование 4-й армией. Осенью 1941 года выступил против наступления на Москву, обосновав свою позицию тем, что приближается зима, а немецкие войска не готовы к действиям в зимних условиях. Когда наступление все же началось, то особой активности в ходе его не проявлял. Убедившись в провале наступления на Москву, одним из первых командующих армиями уже 4 декабря начал отвод своих войск от советской столицы. 19 декабря 1941 года Клюге был назначен командующим войсками группы армий «Центр», заменив на этом посту смещенного Гитлером генерал-фельдмаршала Ф. фон Бока. Вступив в должность, сразу же добился отставки целого ряда высших генералов, в том числе всех командующих армиями, входивших в состав его группы войск (Г. Гудериан, Э. Гепнер и др.), сделав их в угоду Гитлеру своего рода «козлами отпущения» за поражение немецко-фашистских войск под Москвой.
Перед началом кампании 1942 года Клюге удалось довольно искусно дезинформировать советское командование относительно того, что в 1942 году главный удар немецко-фашистской армии снова будет нанесен в центре, на московском направлении. В результате крупные силы Красной Армии были сосредоточены на центральном участке советско-германского фронта, а южный фланг, где противник в действительности нанес свой главный удар, оказался ослабленным. В 1942 году главные события развернулись на Юге. На фронте группы армий «Центр» в основном происходили лишь бои местного значения. Вместе с тем Клюге удалось отразить ряд сильных ударов советских войск (под Ржевом, Белевом и др.). Зимой 1942/43 годов Клюге в целом успешно противостоял упорным попыткам русских прорвать оборону его войск, хотя на ряде участков ему и пришлось отступить. Выступал против бесчеловечного обращения с советскими военнопленными. Знал о существовании заговора против Гитлера и одобрял действия заговорщиков, которые действовали в его штабе (группа генерала Х. фон Трескова). Был противником наступления под Курском (операция «Цитадель»), которое привело к Курской битве и очередному крупному поражению немецко-фашистского вермахта. Сам же Клюге от прямого участия в операции «Цитадель» уклонился, и после ее провала в июле 1943 года избежал каких-либо нареканий в свой адрес. В середине июля 1943 года Красная Армия прорвала оборону на правом крыле группы армий «Центр» (в районе Орла), что привело к ее отступлению за Днепр. Лишь там Клюге удалось задержать мощное наступление советских войск (осень 1943 года).
