После катастрофы, постигшей вермахт под Сталинградом, над немецкими войсками на Северном Кавказе нависла угроза изоляции от основных сил германского Восточного фронта и последующего разгрома. Надо отдать должное Клейсту — он справился с поставленной перед ним задачей с большим искусством, хотя Гитлер лишь в самый последний момент разрешил ему начать отступление. Но тем не менее Клейсту удалось через узкий коридор у Ростова вывести с Северного Кавказа 1-ю танковую армию, а войска 17-й армии организованно отвести в низовья Кубани и прочно закрепиться там. Заслуги Клейста, сделавшего все, чтобы не допустить на Северном Кавказе «нового Сталинграда», были очевидны. 31 января 1943 года Гитлер произвел его в генерал-фельдмаршалы. В период боевых действий на Северном Кавказе Клейст проводил на оккупированной территории активную политику привлечения на сторону немецко-фашистской армии казачества и горских народов Северного Кавказа, в чем достиг определенных успехов. В немалой степени этому способствовало довольно лояльное отношение Клейста к местному населению, заигрывание с антисоветски настроенными кругами казачества и горцев, запрет войскам СС проводить карательные операции на подконтрольных ему территориях. В сентябре 1943 года добился у Гитлера разрешения на эвакуацию 17-й армии с Таманского плацдарма в Крым, в результате чего была спасена от уничтожения крупная группировка немецко-фашистских войск (около 260 тыс. человек).
Но тогда же у Клейста начались серьезные разногласия с Гитлером. Клейст потребовал от фюрера оставить Крым и эвакуировать с полуострова немецкие и румынские войска, считая его оборону не только бесперспективной, но и чреватой очередным крупным поражением (что и произошло, но уже после отставки Клейста). Но Гитлер запретил Клейсту об этом даже и думать.
В марте 1944 года, будучи не в силах сдержать мощный натиск Красной Армии на рубеже р. Южный Буг, Клейст отдал своим войскам приказ отходить к Днестру. Гитлер пришел в ярость от подобного решения фельдмаршала, посмевшего нарушить его приказ, но поставленный перед фактом был вынужден 27 марта санкционировать решение Клейста. 30 марта личный самолет фюрера приземлился в Тирасполе, где размещался штаб группы армий «А», чтобы забрать ее командующего, срочно вызванного в ставку.
Вечером того же дня Гитлер принял Клейста, наградил его сразу дубовыми листьями и мечами к Рыцарскому кресту, а затем тут же снял с должности и уволил в отставку. Обосновывая свое столь крутое решение, фюрер заявил, что он одобряет все сделанное Клейстом, но время крупных наступательных операций на Восточном фронте, признанным специалистом которых является Клейст, прошло. Теперь ему, Гитлеру, требуются другие командующие, а именно те, которые обладают способностью заставить свои войска обороняться до последней возможности. Клейст воспользовался этой последней встречей с фюрером, чтобы посоветовать ему заключить мир с Советским Союзом. Но Гитлер отмахнулся от этого совета, заявив в ответ, что в этом нет никакой необходимости, т. к. Красная Армия уже полностью истощила свои силы.
Преемником Клейста на посту командующего группой армий «А» стал ярый нацист генерал-полковник Ф. Шернер, готовый с присущим ему фанатизмом выполнять любые приказы Гитлера. Изгнанный из армии Клейст удалился в свое поместье Вейдельбрюке (Силезия), где и провел в тихом уединении около 4 месяцев.
Но после покушения на Гитлера 20 июля 1944 года затворничество Клейста было нарушено. Он был арестован гестапо по подозрению в участии в заговоре против Гитлера. Подозрение нацистского руководства против Клейста было вызвано тем, что один из его родственников оказался причастным к заговору. Поскольку прямых улик в отношении фельдмаршала у следствия не было, то он был обвинен в том, что знал о существовании заговора, но не сообщил об этом властям и, следовательно, является его соучастником. Но Гитлер решил не предавать такого известного фельдмаршала «народному суду». После казни фельдмаршала Э. Вицлебена и очень подозрительной кончины еще 2 фельдмаршалов (Клюге и Роммеля) нацистская верхушка оказалась в затруднительном положении — продолжать репрессии против военной элиты рейха или на этом остановиться. Первое в условиях продолжающейся войны грозило трудно предсказуемыми последствиями (потому от германского народа и была скрыта истинная причина смерти Клюге и Роммеля — фельдмаршалов, не менее знаменитых, чем Клейст), вторая выглядела предпочтительнее, тем более что урок любителям всякого рода заговоров преподан был довольно суровый и в определенной мере уже достиг своей цели. Поэтому Клейст был освобожден из тюрьмы и вернулся в свое поместье.
Приближение фронта к Силезии заставило его в начале 1945 года перебраться в одну из маленьких деревушек в Нижней Баварии, где 25 апреля он был арестован американскими войсками. Отступая из Силезии, сын Клейста взорвал дом отца, чтобы он не достался большевикам. Как свидетель Клейст принимал участие в заседаниях Международного Нюрнбергского военного трибунала.
