В 1934 году приговором Верховного Суда СССР объявлен вне закона.
В 1938 году, не поладив с японцами, установил контакт с резидентом немецкой разведки в Харбине, германским вице-консулом Гансом Рике. В том же году, показывая свои агентурные качества, нелегально пересек территорию СССР и Польши, перейдя три границы, оказался в Германии, куда впоследствии перебралась с детьми и его жена Изольда, дочь одного из руководителей белоэмиграции, генерала Кислицына.
В 1938–1939 гг. прошел пятнадцатимесячную переподготовку в Берлинской школе немецкой разведки; на занятиях появлялся только в маске.
В 1940 году абвером трижды перебрасывался на территорию Советского Союза, совершил длительные полутора-двухмесячные маршруты в районы Центрального Урала, Москвы и Северного Кавказа.
В январе — мае 1941 года под видом находящегося в командировке капитана органов НКВД фланировал по городам, гарнизонам и железнодорожным узлам Прибалтийского и Западного особого военных округов, собирая сведения о дислокации, численности, передвижениях и боеготовности советских войск.
За двое суток до начала войны переброшен на территорию Западной Белоруссии старшим большой группы агентов, экипированных в форму советских пограничников, с заданием убийства, как только начнутся военные действия, высшего и старшего командного состава, нарушения связи и создания паники в наших оперативных тылах. Вернулся к немцам под Смоленском, совершив за месяц свыше семидесяти терактов и потеряв при этом всего трех агентов.
В последующие полтора года еще десять или одиннадцать раз перебрасывался в тылы Красной Армии старшим группы с заданиями оперативной разведки, а также вербовки агентуры, в том числе среди женщин, связанных с армией и железнодорожным транспортом. Немцами награжден двумя крестами и шестью боевыми медалями. По личному распоряжению Гитлера в порядке исключения получил звание майора германской армии.
В феврале — мае 1943 года — старший преподаватель Берлинской разведшколы абвера. Вел семинары: «Основы маскировки и конспирации в советской прифронтовой полосе», «Переход линии фронта при возвращении» и «Поведение на допросах в органах НКВД», обучал курсантов стрельбе по-македонски. На занятиях появлялся только в темных очках и парике, с усами и бородой.
Настроен яро антисоветски. В совершенстве владеет стрелковым и холодным оружием, приемами защиты и нападения. Не расстается с пистолетом, заряженным разрывными пулями с ядом, вызывающим мгновенную смерть. Представляет особую опасность при задержании.
