Будучи убежденным монархистом, приход к власти в Германии нацистов (январь 1933 года) Клейст встретил неодобрительно и в дальнейшем никогда им не симпатизировал, вследствие чего в последующем, несмотря на все его военные заслуги перед рейхом, отношение к нему нацистского руководства всегда было довольно прохладным. В 1935 году получил чин генерал-лейтенанта. В том же году на базе 2-й кавалерийской дивизии был развернут 8-й армейский корпус, командиром которого стал Клейст. Одновременно он являлся и командующим 8-м военным округом (Силезия), в состав которого входили 3 дивизии (8, 18 и 28 пд), генерал кавалерии (1936).
Во время «генеральской чистки» уволен из армии (февраль 1938 году). Но приближалась война, и Гитлер нуждался в опытных генералах. В августе 1939 года Клейст снова призывается на военную службу и назначается командиром 22-го армейского корпуса. Во главе этого корпуса (одна из 3 дивизий которого была танковой) Клейст участвовал в Польской кампании 1939 года. Его корпус входил в состав 14-й армии генерала В. Листа и действовал в южной части Польши. После разгрома противника в районе Львова Клейст совершил стремительный бросок к р. Буг, где 16 сентября соединился с наступавшим с севера корпусом генерала Г. Гудериана. Результатом этого маневра явилось стратегическое окружение основных сил польской армии западнее Вислы. После разгрома Польши корпус Клейста был переброшен на Западный фронт.
Во время Французской кампании 1940 года Клейст возглавлял танковую группу («танковая группа Клейста»), приданную 12-й армии генерала В. Листа. В состав его группы входили 19-й (генерал Г. Гудериан), 41-й (генерал Г. Рейнгардт) и 14-й (генерал Г. Витерсгейм) моторизованные корпуса. «Танковая группа Клейста» фактически являлась танковой армией, хотя этот термин официально вошел в употребление лишь 1,5 года спустя, а сам Клейст стал по существу первым в немецко-фашистской армии командующим танковым объединением.
Осуществив прорыв через Люксембург в Южную Бельгию, его танковые войска вышли в тыл «линии Мажино», что поколебало ее устойчивость и позволило войскам генерала В. фон Лееба приступить к прорыву этой сильно укрепленной оборонительной полосы. Затем войска Клейста нанесли сокрушительное поражение французам на р. Маас, 14 мая форсировали ее и развернули стремительное наступление к Ла-Маншу. С их выходом на побережье было завершено образование «Дюнкеркского котла», в котором оказались свыше 400 тыс. французов, англичан и бельгийцев. На втором этапе кампании в состав танковой группы Клейста входили 14-й и 16-й (генерал Э. Гепнер) моторизованные корпуса и несколько отдельных соединений. Она развернула стремительное наступление в глубь Франции. К моменту капитуляции Франции танковые войска Клейста находились в Лионе и Сент-Этьенне. За Французскую кампанию Клейст получил чин генерал-полковника (19 июля 1940 года). Еще ранее, за Польскую кампанию, он был награжден Рыцарским крестом.
В ноябре 1940 года Клейст возглавил 1-ю танковую группу, которая весной 1941 года была переброшена на Балканы (в Болгарию). Участвовал в Балканской кампании 1941 года, находясь в оперативном подчинении командующего 12-й армией генерал-фельдмаршала В. Листа. Во время этой кампании 1-я танковая группа войск вела боевые действия в Югославии. 9 апреля ее войска овладели г. Ниш, а 13 апреля вступили в столицу Югославии — Белград. Разгром противника в Югославии танковая группа Клейста осуществила во взаимодействии со 2-й армией генерала М. фон Вейхса. После завершения Балканской кампании она была в срочном порядке переброшена в Польшу, где вошла в состав группы армий «Юг» (генерал-фельдмаршал Г. фон Рундштедт).
