«Блюмкин очень интересная фигура, о нем много говорилось и много писали, но по-разному писали, тем не менее, при всех его недостатках, это был действительно, я бы сказал так, — с элементом авантюризма, но это был борец за Советскую власть. Активный причем борец за Советскую власть. Ну а, кстати, по поводу авантюризма маленькое отступление. Я считаю, что все, так сказать, крупные работники внешней разведки — это мое представление — должны, безусловно, иметь маленький хотя бы, но элемент авантюризма. Потому что если они педантично выполняют то, что им приказано выполнить, и ни шагу влево, и ни шагу вправо, то, во-первых, они не смогут добиться тех успехов, которых они добивались, ну а во-вторых, это, в общем, достаточно скучно. Поехать, выполнить, вернуться. Поэтому, я думаю, отца увлек авантюризм Блюмкина. Я думаю, что для отца были свойственны авантюрные элементы, и, в общем, они нашли друг друга. Ну и первая их совместная деятельность была в составе Гилянской Красной армии».
В итоге Блюмкин порекомендовал Серебрянского для работы в Особый отдел Гилянской Красной армии. Затем Серебрянский стал начальником Общего отдела (отделения), входившего в состав Особого отдела.
Во время Советско-польской войны 1920 года произошла во многом уникальная операция Особого отдела ВЧК (А. Х. Артузов, Р. А. Пиляр, Я. С. Агранов), в ходе которой была осуществлена массовая перевербовка разведчиков из Польской организации войсковой (ПОВ). ПОВ была опасным противником, ее агентура действовала в Москве, Петрограде, Киеве, Минске, Смоленске, Одессе, Житомире. Большинство членов ПОВ работали против «Советов» по идейным соображениям и действовали умело и бесстрашно. Например, командир красных инструкторских курсов Тригар одновременно являлся руководителем боевых отрядов ПОВ в районе Минск — Борисов. Один из его помощников Зенкевич служил в Минской ЧК. Своих людей польские спецслужбы имели в особых отделах 15-й и 16-й армий, в Управлении южных железных дорог, в Комиссии по снабжению Красной армии. И в плен при захвате члены ПОВ обычно не сдавались.
В борьбе с ПОВ сотрудники ВЧК взяли на вооружение проверенные временем методы агентурно-оперативной работы — период засад и облав уходил в прошлое. Постепенно оперативно-боевые группы Особого отдела и ВЧК очистили прифронтовую зону Западного фронта от польских партизанских отрядов, аресту подверглись несколько сот членов ПОВ и работающих на них агентов (в Киеве около двухсот человек, в Одессе более ста). Дзержинский дал слово отпустить в Польшу всех агентов после рассмотрения их дел в ВЧК. Это был достаточно умный. просчитанный ход. Известно, например, что агенты И. И. Добржинский и В. С. Стацкевич, имевшие левые убеждения, согласились работать на чекистов и склонили многих своих товарищей сложить оружие. Кстати, Дзержинский свое слово сдержал: из привлекавшихся к ответственности по делу ПОВ 1385 человек были освобождены под подписку, поручительство и т. п. Более десятка из них впоследствии стали кадровыми сотрудниками ВЧК и работали по линии советской контрразведки.
В конце августа 1920 года Яков Серебрянский прибыл в Москву, где был зачислен в штат Особого отдела (ОО) ВЧК. Начальником отдела в тот период был В. Р. Менжинский, один из наиболее образованных и эрудированных руководителей советских спецслужб за всю их историю. Однако в Особом отделе Серебрянский проработал недолго — уже 21 сентября он был переведен на должность секретаря во вновь созданный Административно-организационный отдел (АОО) ВЧК. Начальником отдела был назначен И. А. Апетер. АОО ведал разработкой общей структуры ВЧК, штатами, подбором и расстановкой кадров, изданием приказов, составлением смет, командированием и увольнением сотрудников, а также проверкой работы губернских ЧК.
В это же время Яков Блюмкин по личной рекомендации председателя ВЧК Ф. Э. Дзержинского вступил в РКП(б) и по направлению наркомата иностранных дел (довольно редкий случай!) был зачислен на Восточное отделение Академии Генерального штаба РККА. Указанное отделение готовило кадры для военно-дипломатической работы и для военной службы на восточных и юго-восточных границах РСФСР. Слушатели изучали основы стратегии, тактику родов войск, организацию работы Генштаба, военную географию, военное строительство, военную психологию. За время учебы в академии Блюмкин проштудировал огромное количество военной и общественно-политической литературы. Он также изучил турецкий, арабский, китайский и монгольский языки.
Первого декабря 1920 года Административно-организационный отдел был развернут в Административноорганизационное управление (АОУ) ВЧК. Начальником управления стал И. А. Апетер, а заместителем — З. Б. Кацнельсон. Серебрянского назначили секретарем АОУ.
Двадцатого декабря Иностранный отдел (ИНО) Особого отдела ВЧК был реорганизован в самостоятельный Иностранный отдел, курировавшийся начальником Особого отдела В. Р. Менжинским. Временно исполняющим должность начальника ИНО назначили Якова Христофоровича Давыдова (Акоп Давтян).
Приказ № 169 гласил:
