В конце 1919 года по инициативе Уншлихта началось создание одной из самых секретных специальных служб в истории нашей страны — Нелегальной военной организации (НВО). Она вела диверсионную, террористическую и повстанческую деятельность на территории Белоруссии, оккупированной польской армией. О ее создании и задачах знало только высшее военно-политическое руководство РСФСР. Об этой структуре не был проинформирован даже командующий Западным фронтом М. Н. Тухачевский. В отрядах Нелегальной военной организации основную силу составляли бывшие боевики Партии социалистов-революционеров, Коммунистической партии Литвы и Белоруссии и Еврейской социал-демократической партии «Поалей Цион». Деятельностью НВО руководили А. К. Сташевский, Б. Б. Бортновский, С. Г. Фирин. Впоследствии на основе опыта НВО строились аппараты нелегальных военных организаций компартий и в некоторых других европейских странах.
Семнадцатого марта 1920 года В. И. Ленин направил Сталину шифрованную телеграмму, в которой писал: «Только что пришло известие из Германии, что в Берлине идет бой и что спартаковцы завладели частью города. Кто победит, неизвестно, но для нас необходимо максимально ускорить овладение Крымом, чтоб иметь вполне свободные руки, ибо гражданская война в Германии может заставить нас двинуться на Запад на помощь коммунистам». На фоне громких немецких событий тихо и незаметно в Палестину из Кракова «эмигрировал» оперативный сотрудник Коминтерна Иосиф Бергер, который затем стал основателем компартии Палестины и ее генеральным секретарем.
Второй конгресс Коминтерна (19 июля — 17 августа 1920 г.) установил для партий. входивших в его состав, «Двадцать одно условие приема», которые были изложены в резолюции 6 августа 1920 года. Эти условия включали: признание диктатуры пролетариата как главного принципа революционной борьбы и теории марксизма; полный разрыв с реформистами и центристами и изгнание их из рядов партии; сочетание легальных и нелегальных методов борьбы; признание демократического централизма как главного организационного принципа партии, верность принципам пролетарского интернационализма и др. По мнению руководителей РКП(б) и Коминтерна, они были призваны оградить Коминтерн и коммунистические партии от проникновения в их ряды не только открытых оппортунистов, но и сторонников компромисса с изменниками пролетарскому делу.
В шестнадцатом пункте резолюции говорилось, что постановления конгрессов Коминтерна и ИККИ обязательны для всех партий. входящих в Интернационал. «Устав закреплял за ИККИ право <…> следить за созданием нелегальных коммунистических организаций, а также право создавать в различных странах целиком подчиненные ему технические и иные вспомогательные бюро». Со второй половины 1920 года ИККИ стал одним из центров подготовки военно-политических кадров для участия в будущих революциях и специальных операциях. Именно в тот период при Коминтерне была создана первая секретная военно-политическая школа.
В апреле 1920 года в составе Особого отдела, руководство которым осуществлял лично Ф. Э. Дзержинский. создается Иностранное отделение. Его первым руководителем назначен Л. Ф. Скуйскумбре. Аналогичные отделения появляются в особых отделах фронтов и некоторых приграничных губернских ЧК. Их задачей была разведывательная работа на территории сопредельных с РСФСР государств. Двадцатого декабря 1920 года Иностранное отделение было реорганизовано в самостоятельный Иностранный отдел (ИНО), курировавшийся начальником Особого отдела В. Р. Менжинским, что стало датой рождения современной отечественной политической разведки ВЧК. До марта 1922 года Иностранный отдел поочередно возглавляли Я. Х. Давтян (Давыдов), Р. П. Катанян и С. Г. Могилевский. ИНО официально утверждался в качестве партнера Коминтерна в области нелегальной работы за рубежом. Постепенно Иностранный отдел ВЧК становится одной из ведущих структур, обеспечивавших высшее военно-политическое руководство страны разведывательной информацией.
Восьмого августа 1920 года Малое бюро Коминтерна приняло решение создать вместо Особой комиссии по связи ИККИ — Секретный отдел, организацию отдела поручили Д. С. Бейко.
Главной задачей Секретного отдела являлось обеспечение конспиративных связей между штаб-квартирой Коминтерна и иностранными компартиями. Отдел осуществлял: переправку секретной корреспонденции (документов, директив и т. п.); нелегальную доставку денег и ценностей; конспиративную переброску партийных функционеров и оружия из страны в страну и другие нелегальные функции.
В большинство европейских стран, а также в Китай (Шанхай), Мексику и Ташкент (для работы в странах Востока) были направлены нелегальные представители ИККИ. Решением Малого бюро от 11 ноября отдел получил название Конспиративный.
В начале января 1921 года была создана секретная лаборатория по изготовлению фальшивых иностранных паспортов, виз и других оперативных документов, находившаяся в подчинении Конспиративного отдела.