В 1924 году отец Иосифа потерял работу и эмигрировал в Аргентину. Мальчик остался с матерью в Вильно, оккупированном в то время Польшей. Окончил гимназию имени Витовта. Помимо родного с детства свободно владел литовским, русским и польским языками. В дальнейшем в совершенстве освоил итальянский, испанский, португальский, французский и английский.
В период учебы в гимназии он подружился с активистами компартии Западной Белоруссии и в 1926 году вступил в нелегальный Коммунистический союз молодежи. В 1930 году стал членом компартии Польши, а на другой год вошел в состав Литовского бюро ЦК КПЗБ. В феврале 1932 года был арестован польской полицией, приговорен к двум годам заключения условно, после чего выслан из Польши.
По решению Литовского коммунистического бюро Григулевич выехал во Францию. В начале октября 1933 года он поступил в парижскую Высшую школу социальных наук, стал членом коммунистической фракции Сорбонны, а также вошел в состав редколлегии журнала МОПР, выходившего в Париже на польском языке.
В августе 1934-го по предложению Коминтерна Григулевич был направлен на партийную работу в Аргентину, где проживал его отец. Трудился продавцом радиоаппаратуры, страховым агентом, журналистом. Активно сотрудничал с руководством компартии Аргентины. Одновременно был избран в исполком МОПР и членом редколлегии нелегального журнала «Сокорро рохо».
В начале сентября 1936 года ЦК КП Аргентины направил Григулевича в Испанию. Он служил адъютантом начальника штаба армии Мадридского фронта генерала Рохо. Затем работал переводчиком советского полпредства в Мадриде.
В марте 1937 года Григулевич начал сотрудничать с советской внешней разведкой. В мае того же года участвовал в подавлении Барселонского мятежа. Проявил себя как смелый и находчивый боевик в операциях по ликвидации агентуры «пятой колонны». В конце 1937 года из-за угрозы расшифровки был выведен в Советский Союз.
В 1940 году Григулевич был направлен в качестве разведчика-нелегала в Латинскую Америку, где вел активную разведывательную работу в ряде стран (Мексика, Аргентина, Уругвай, Чили, Бразилия).
Будучи человеком, обладающим способностью легко устанавливать контакты в любой социальной среде, он быстро завел полезные для разведки связи и создал в Латинской Америке несколько агентурных групп разных по своей оперативной направленности профилей, подбирая для работы на советскую разведку надежных и идейно близких нам людей. Чтобы иметь представление о размахе деятельности Григулевича, достаточно сказать, что в разное время у него на личной связи находилось до 50 помощников. А общая численность агентурной сети разведчика порой достигала 200 человек. Григулевич лично участвовал в нападении группы боевиков во главе с Давидом Сикейросом на виллу Троцкого в Койоакане (Мексика) в ночь на 24 мая 1940 года.
Наиболее плодотворно агентурные группы Григулевича действовали в период Великой Отечественной войны. Наряду с добычей актуальной разведывательной информации и выводом агентуры в европейские страны, в задачу помощников Григулевича входила организация диверсий на кораблях, вывозивших из латиноамериканских стран необходимое для Германии стратегическое сырье. В общей сложности боевиками Григулевича было заложено более 150 мин. В результате действий этих групп было выведено из строя несколько транспортов и уничтожены значительные запасы сырья, направлявшиеся в германские порты.
После окончания войны Григулевич проживал нелегально в Мексике. Там он сблизился с представителями коста-риканского революционного движения, которые, находясь в эмиграции, готовили государственный переворот в своей стране.
В 1947 году вместе с женой Лаурой Иосиф Григулевич нелегально прибыл в Москву, где супруги прошли дополнительную подготовку.
Осенью 1949 года супруги были выведены на длительное оседание в Западную Европу. Разведчик-нелегал приступил к активному выполнению ответственных разведывательных заданий Центра в ряде европейских стран. Благодаря своим природным данным, личному обаянию, настойчивости и инициативе Григулевич надежно легализовался в Европе и обеспечил получение важной разведывательной информации. После смены власти в Коста-Рике он, используя связи в новом правительстве, смог создать для себя уникальное прикрытие: Григулевич был назначен Чрезвычайным посланником в ранге Полномочного министра Республики Коста-Рика в Италии. Одновременно он являлся посланником при Папском престоле в Ватикане и по совместительству – посланником в Югославии.
По линии советской внешней разведки Григулевич возглавлял нелегальную резидентуру в Италии.
