Все прояснилось, когда в Москве Хрущев сообщил Пономаренко о решении партийного руководства назначить его послом в Польшу. Это было фактически «тихой» отставкой. Но, понимая это, он все-таки поблагодарил Никиту Сергеевича за назначение, чем несказанно удивил его. Хрущев ожидал протесты или, по крайней мере, просьбы оставить его на партийной работе. Но Пантелеймон Кондратьевич прекрасно понимал, что изменить уже ничего не сможет. Новая же работа давала возможность отстаивать интересы государства на крайне важном для Советского Союза направлении, да и быть подальше от Москвы, где Хрущев вовсю раскручивал свои бестолковые реорганизации и реформы.
После Польши, где Пономаренко сумел установить дружеские связи с руководством этой страны и особенно В. Гомулкой, его направили Чрезвычайным и Полномочным Послом Советского Союза в Индию, затем в Непал и, наконец, в Голландию. Здесь и произошел инцидент, который поставил крест на его дальнейшей дипломатической карьере. В этой стране остался советский гражданин, врач по профессии. А его жена пришла в наше посольство и сказала, что хочет вернуться на Родину. Был самый разгар «холодной войны», и в дело вмешались влиятельные антисоветские политические силы. Голландские официальные лица и, естественно, печать этой страны подняли страшный шум, утверждая, что женщину насильственно удерживают в посольстве и что ее надо присоединить к мужу.
И хотя сама она несколько раз заявляла о нежелании оставаться в Голландии, ей оттуда просто не давали выехать.
Как раз в это время должен был состояться Пленум ЦК, и за Пономаренко, как членом Центрального Комитета, прислали самолет. Он посадил в свою машину женщину и доставил ее на борт самолета. Однако голландские полицейские во главе с руководителем ворвались туда, на что, кстати, не имела права — самолет все же советская территория — и попытались силой высадить отчаянно сопротивлявшуюся женщину. Пономаренко вступился за нее и в возникшей потасовке сломал палец полицейскому начальнику. Голландцы вынуждены были убраться восвояси, но шум вокруг этого инцидента был поднят невероятный. Пономаренко отозвали из Голландии. Хотя в том, что произошло, советского посла было трудно упрекнуть. Он не относился к числу тех, кто думал о себе, своей карьере, когда нужно было оказать помощь человеку, попавшему в беду, тем более женщине. Сильный, цельный по натуре человек, он напоминал в чем-то Сталина, который мог возмутиться и вспылить, одергивая зарвавшегося наглеца.
Некоторое время Пономаренко работал в международном агентстве по атомной энергии — МАГАТЭ. Он хорошо разбирался в научных и технических вопросах, так что приносил там немалую пользу. Ну а потом преподавательская работа, с которой ушел незадолго до смерти.
Когда Пантелеймону Кондратьевичу назначали пенсию, Хрущев позаботился о том, чтобы она была минимальной. В военной же пенсии ему отказали, хотя как начальнику Центрального штаба партизанского движения ему было присвоено звание генерал-лейтенанта. Человек скромный, непритязательный, в личной жизни, но отягощенный заботой о родственниках, которых очень любил, он испытывал значительные материальные трудности и был вынужден продать свою личную библиотеку, которую собирал всю жизнь.
Поздним вечером 14 октября 1964 года Пономаренко, приехав с дачи, встретил Брежнева на лестничной площадке в доме на Кутузовском проспекте в Москве, где они жили еще со сталинских времен. Леонид Ильич как раз возвращался с Пленума ЦК, который снял Хрущева со всех его постов, о чем Брежнев сразу же и сообщил своему бывшему сослуживцу. «Ну и кого избрали вместо него?» — поинтересовался Пантелеймон Кондратьевич. «Представь себе, меня», — со смехом ответил Брежнев.
Он знал о бедственной ситуации бывшего секретаря и члена Президиума ЦК и поспешил ободрить его: «Не беспокойся, теперь твое положение изменится». И не удержался, чтобы похвастаться: «Смотри, что мне подарили». Леонид Ильич с явным удовольствием показал Пономаренко массивный дорогой перстень с драгоценными камнями на пальце своей руки. Тот не выдержал: «Опять ты за старое, Леонид! Сколько раз тебе говорил еще там, в Казахстане — страсть к этим побрякушкам до добра не доведет». Брежнев промолчал и быстро прошел к себе в квартиру.
На ответственную руководящую работу Пономаренко так и не пригласили, хотя он был еще полон сил и энергии и мог принести немалую пользу. Наверно, потому, что не изменил железному правилу сталинской школы — говорить в лицо правду всем, в том числе и партийным вождям.