В начале сентября 1923 года Павел Судоплатов подает рапорт об увольнении начальнику Славутинского погранпоста. Кроме смерти брата и накопившейся психологической усталости (война — это не в тире пострелять), на его решение могла повлиять и другая причина: после окончания Гражданской войны началось сокращение чекистского аппарата, и в первую очередь под него попадали лица, не годные по возрасту или состоянию здоровья к военной службе. В двадцать третьем Павлу было шестнадцать — маловато, и не исключено, что рапорт был написан добровольно-принудительно. Так или иначе, он вернулся домой в Мелитополь.
С января 1925 года Павел Судоплатов — секретарь ячейки ЛКСМУ завода им. В. В. Воровского в родном городе, а в феврале того же года окружной комитет комсомола рекомендует «товарища Судоплатова» на работу в органы ОГПУ.
Семнадцатилетнего Павла Судоплатова назначают сводчиком информационного отделения Мелитопольского окружного отдела ГПУ УССР. Информационное отделение (часть Информационного отдела, входившего в состав Секретно-оперативного управления ОГПУ) отвечало за обеспечение партийного и советского руководства в центре и на местах информацией о политическом и экономическом положении страны и отдельных регионов. В качестве источников информации служили доклады секретных сотрудников (агентов), работающих на предприятиях и в учреждениях (токарями, слесарями, машинистками, да кем угодно), сведения о происшествиях, следственные материалы, поступавшие из милиции, периодическая печать и даже слухи. До 1927 года Судоплатов занимался обработкой оперативной информации, составлением отчетов и сводок, и получалось у него неплохо, потому что он умел анализировать факты и делать прогнозы, что дано не каждому.
В 1928 году его переводят на оперативную работу и повышают в должности — он становится помощником уполномоченного учетно-статистического отделения Мелитопольского окружного отдела ГПУ. В качестве младшего оперативного сотрудника Павел курирует работу нескольких агентов, действовавших в болгарской, греческой и немецкой колониях-поселениях. Работа с агентами, осведомителями и кадровыми секретными сотрудниками требовала от нашего героя выдержки, терпения и хладнокровия, и здесь уместно вспомнить начальника Особого отдела Департамента полиции царской России полковника С. В. Зубатова, профессионала высшей пробы. Он неоднократно разъяснял своим подчиненным правила работы с секретными сотрудниками, отмечая, что единственное средство быть в курсе деятельности оппозиционеров — это иметь своих людей в каждой ячейке общества. А главная задача оперативного сотрудника спецслужб — организовать тонкую и четко функционирующую сеть секретных осведомителей, работающих повсюду.
«Пути поиска таких людей различны, — говорил Зубатов своим офицерам, — но метод один: офицер охраны должен быть человековедом. Повторяю и повторяю: не смотрите на дело приобретения сотрудника как на рыночную куплю-продажу. И ни в коем случае не относитесь к вашему человеку небрежно или, хуже того, с презрением, коего он, возможно, и заслуживает, ибо никто из нас не станет оправдывать Иуду, продавшего Христа. Однако упрячьте эти свои мысли и чувства поглубже. Вы, господа, должны смотреть на сотрудника как на любимую женщину, с которой находитесь в тайной связи. Берегите ее как зеницу ока. Один неосторожный ваш шаг — и вы ее опозорите. Помните это, относитесь к этим людям так, как я вам советую, и они поймут вас, доверятся вам и будут работать с вами честно и самоотверженно».
В феврале 1928 года Судоплатов вступает в ряды Всесоюзной Коммунистической партии большевиков — ВКП(б).
В августе 1928 года наш герой получает очередное повышение и переводится в столицу тогдашней Украины — город Харьков, где назначается помощником уполномоченного секретного отделения Харьковского окротдела ГПУ УССР. Секретный, а с марта 1931 года секретно-политический отдел в составе Секретно-оперативного управления ОГПУ и его отделения на местах занимались борьбой с активными антисоветскими партиями и группами, националистами, работой в среде творческой интеллигенции и духовенства.
В том же году Павел вступает в брак с коллегой по работе Э. К. Кагановой.
Затем, в отрезок времени до 1930 года (более точные данные в личном листке по учету кадров отсутствуют), П. А. Судоплатова переводят в центральный аппарат ГПУ УССР и назначают помощником уполномоченного Отдела информации и политического контроля. Этот отдел был образован путем слияния в ноябре 1925 года двух отделов — информационного и политконтроля — в единую структуру. Необходимо подчеркнуть, что в личном листке по учету кадров рукой Павла Анатольевича указана должность именно помощника уполномоченного. Об этом периоде работы нам известно мало, вероятнее всего, в новой должности сочетались как оперативная, в том числе агентурная, так и аналитическая составляющие.
