В 1924 году к Серебрянскому присоединилась жена Полина, направленная в Яффу помогать супругу по личному указанию начальника ИНО ОГПУ Трилиссера. Он вызвал к себе Полину Натановну и объявил ей, что надо ехать к мужу, помогать ему.
– Не поеду, боюсь.
Несколько затянувшаяся беседа закончилась очень просто. Трилиссер положил свою ладонь на руку Серебрянской и мягко, но твердо сказал: «Ну вот что, Полина Натановна… Или вы поедете за границу к мужу или вам придется положить на стол партийный билет». Для нее, члена партии с 1921 года, сотрудницы Краснопресненского райкома партии, это было просто немыслимо, и она поехала. И была с мужем в Палестине, во Франции, в Германии, США и Бельгии, везде активно помогая мужу в его работе.
В 1925 году Серебрянского отозвали из Палестины и направили на нелегальную работу в Бельгию. В Москву он возвратился в феврале 1927 года и был принят в члены ВКП(б). В том же году его направили нелегальным резидентом в Париж, где он проработал до марта 1929 года. Материалы о деятельности Серебрянского в Бельгии и во Франции до сих пор носят гриф «секретно». Тем не менее свидетельством его успешной оперативной деятельности может являться тот факт, что за время загранкомандировок разведчик был дважды отмечен высшими ведомственными наградами – нагрудными знаками «Почетный работник ВЧК – ГПУ» и серьезным повышением по службе, а ранее – в 1927 и 1928 годах – дважды личным боевым оружием. 30 марта 1930 года Серебрянский был награжден орденом Красного Знамени.
В июне 1934 года Серебрянский возглавил Специальную группу особого назначения (СГОН), которая напрямую подчинялась наркому внутренних дел. При ней была создана школа разведчиков-нелегалов диверсионного профиля. Многие ее выпускники в годы Великой Отечественной войны стали крупными специалистами по проведению диверсий в тылу противника. Активно действовали сотрудники группы Серебрянского и в период гражданской войны в Испании. И не случайно 31 декабря 1936 года в советской прессе было опубликовано постановление ЦИКа Союза ССР «О награждении за особые заслуги в деле борьбы с контрреволюцией тов. Серебрянского орденом Ленина».
Осенью 1938 года Серебрянский был отозван из Парижа, где он находился в очередной командировке, и 10 ноября арестован в Москве прямо у трапа самолета. Ордер на его арест подписал сам Берия. В ходе следствия, которое вел будущий министр госбезопасности Виктор Абакумов, разведчик подвергался «интенсивным методам допроса».
7 июля 1941 года, когда на просторах Советского Союза уже вовсю полыхала война, Военная коллегия Верховного суда СССР приговорила Серебрянского к расстрелу за шпионскую деятельность. Однако Великая Отечественная война, принявшая неожиданно трагический оборот, потребовала концентрации всех сил на отпор врагу. В этих условиях органам государственной безопасности приходилось перестраиваться на военный лад, а не заниматься поисками внутренних врагов. Враг был налицо, невиданно жестокий и могучий. В рамках НКВД было создано 4-е управление, в задачу которого входила организация зафронтовой разведки и развертывание диверсионной борьбы в тылу врага. Но ему явно не хватало профессионалов, подобных Серебрянскому. Начальник 4-го управления генерал Судоплатов обратился к Берии с просьбой освободить из заключения ожидавшего расстрела Серебрянского и еще ряд чекистов.
Решением Президиума Верховного Совета СССР от 9 августа 1941 года Серебрянский был амнистирован и восстановлен в партии. В годы Великой Отечественной войны он занимался подготовкой и заброской в тыл врага оперативных групп для выполнения разведывательно-диверсионных задач. За конкретные результаты в работе Серебрянский был повторно награжден орденами Ленина и Красного Знамени, а также медалью «Партизану Отечественной войны I степени».
Однако судьба вновь оказалась неблагосклонна к разведчику. В июле 1953 года был арестован Берия. А 8 октября решением Генерального прокурора СССР арестовывается Серебрянский «за тяжкие преступления против КПСС и Советского государства».
В процессе следствия найти доказательства его причастности к «заговору Берии» не удалось. Однако и выпускать Серебрянского на волю власти не стремились. Тогда было реанимировано фальшивое дело 1938 года. 27 декабря 1954 года было отменено постановление Президиума Верховного Совета СССР от 9 августа 1941 года об амнистии, несмотря на то, что уже начинался процесс реабилитации жертв необоснованных репрессий. Интенсивные допросы разведчика продолжались. Следователи, правда, мер физического воздействия к арестованному не применяли, однако на него постоянно оказывалось психологическое давление с целью получения признательных показаний. Такого поворота событий Яков Серебрянский не ожидал. 30 марта 1956 года на очередном допросе у следователя Военной прокуратуры СССР генерал-майора юридической службы Цареградского сердце Серебрянского не выдержало, и выдающийся разведчик-нелегал скончался на 64-м году жизни.
