Во внешней разведке Зарубин начал работать в 1925 году. В 1926 году он был направлен руководителем «легальной» резидентуры в Финляндию. Но уже в 1927 году выехал в Данию в качестве нелегального резидента. В командировке он находился вместе с женой Елизаветой Юльевной, ставшей не только его помощницей, но и со временем выдающейся разведчицей, выполнявшей самые ответственные разведывательные задания Центра.
В 1929 году руководство разведки дало указание Зарубиным перебазироваться во Францию. В Париже разведчикам предстояло создать нелегальную резидентуру, наладить связь с Центром через курьеров, восстановить связь с законсервированной агентурой и принять меры по расширению агентурной сети. Зарубин сумел организовать получение исключительно важной информации из политических кругов Франции, касающейся как внутренних, так и международных проблем. Особое место занимала работа по Германии. Возглавляемая Зарубиным резидентура приобрела источников информации в германском посольстве в Париже, от которых поступали секретные сведения относительно франко-германских политических и экономических отношений.
В конце 1933 года Зарубины возвратились в Москву. Однако в Центре они задержались недолго. Уже в 1934 году разведчики-нелегалы были направлены в Германию, где к власти пришли нацисты. Василий Михайлович возглавил нелегальную резидентуру в Берлине, а Елизавета Юльевна стала ее оперативным работником. Им предстояло принять на связь агентуру и приступить к сбору необходимой разведывательной информации. Особый интерес для Центра представляли сведения о внутренней и внешней политике Гитлера, военных приготовлениях Германии, ее планах в отношении СССР и других стран Европы.
В конце 1937 года в связи с предательством Вальтера Кривицкого, лично знавшего Зарубина, Центр отозвал разведчиков на родину. До 1941 года Зарубин работал в центральном аппарате разведки.
В октябре 1941 года руководство разведки приняло решение направить Зарубина руководителем нью-йоркской резидентуры. 12 октября 1941 года Сталин вызвал в Кремль начальника разведки Фитина и резидента Зарубина и сформулировал задачи, стоявшие перед внешней разведкой в этой стране. Он подчеркнул, что необходимо тщательно разобраться в позиции Белого дома в отношении как Советского Союза, так и Германии, а также Англии и Японии. Сталин пояснил, что в США есть влиятельные силы, которые выступают против Советского Союза, и они будут толкать Рузвельта на союз с Гитлером. В заключение беседы он особо отметил, что важно не допустить сговора США и Германии, который закончился бы сепаратным миром за счет интересов СССР.
Зарубин руководил «легальной» резидентурой в Нью-Йорке до апреля 1943 года, а затем стал главным резидентом в США под прикрытием 2-го секретаря посольства СССР в Вашингтоне. Под его руководством резидентуры в Нью-Йорке, Вашингтоне и Сан-Франциско добились значительных результатов и внесли огромный вклад в дело укрепления экономической и военной мощи СССР. Так, советским разведчикам удалось значительно расширить агентурный аппарат. Надежные источники информации были приобретены в основных исполнительных органах власти, в том числе в государственном департаменте, ряде военных ведомств, разведке и контрразведке США, научно-исследовательских организациях, фирмах и предприятиях.
Сотрудники советской внешней разведки в США не только своевременно информировали Центр о политике и планах американского руководства в отношении нашей страны, но и оказывали влияние на решение ряда вопросов в пользу Советского Союза через многих весьма авторитетных лиц в американском правительстве, а также среди ближайшего окружения президента Ф. Рузвельта. Им удалось сорвать сепаратные переговоры, которые вел в Швейцарии с гитлеровцами видный американский разведчик А. Даллес.
Повышенная активность советских разведчиков не могла не привлечь к ним внимания американской контрразведки. Деятельность Зарубина как резидента советской внешней разведки стала известна противнику. В конце 1944 года он был объявлен персоной «нон грата» и вынужден был покинуть США.
В сентябре 1944 года за достигнутые результаты в работе В. М. Зарубину было присвоено звание комиссара госбезопасности.
После войны генерал-майор Зарубин стал заместителем начальника внешней разведки органов государственной безопасности. В этой должности он проработал до 1948 года, когда вышел в отставку по состоянию здоровья.
За плодотворную работу во внешней разведке генерал-майор Зарубин был награжден двумя орденами Ленина, орденом Октябрьской Революции, двумя орденами Красного Знамени, орденом Красной Звезды и многими медалями, а также нагрудным знаком «Почетный работник ВЧК – ГПУ (XV)».
Скончался Василий Михайлович в 1972 году. Его имя занесено на Мемориальную доску Службы внешней разведки Российской Федерации.
