Первым начальником войск Особой группы при наркоме НКВД стал комбриг П. М. Богданов, один из руководителей Управления пожарной охраны НКВД; военкомом — инженер (впоследствии офицер-чекист) А. А. Максимов; заместителем начальника — полковник М. Ф. Орлов; начальником штаба войск ОГ — подполковник В. В. Гриднев. Формирование войск ОГ велось в Москве на стадионе «Динамо».
Комплектование спецназа происходило из числа сотрудников наркоматов внутренних дел и государственной безопасности; из числа слушателей Высшей школы НКВД СССР и Курсов усовершенствования НКГБ СССР; из числа сотрудников НКВД — НКГБ республик и УНКВД — УНКГБ краев и областей; из представителей саперных подразделений дивизии особого назначения НКВД СССР им. Ф. Э. Дзержинского и 3-го полка МПВО НКВД СССР; из числа сотрудников органов милиции и пожарной охраны НКВД СССР; из спортсменов Центрального института физической культуры и добровольных спортивных обществ; из комсомольцев по разверстке ЦК ВЛКСМ; из спецконтингента Коминтерна.
Уже на четвертый день после гитлеровского нападения 140 слушателей основного отделения Высшей школы НКВД были откомандированы в специальный отряд при Особой группе НКВД, 27 июня 1941 года отряд пополнили 156 слушателей курсов усовершенствования руководящего состава школы, а 17 июля — 148 слушателей литовского, латвийского, польского, чехословацкого и румынского отделений курсов.
В самом начале в спецназ вошло пять отрядов по сто человек в каждом, а также саперно-подрывная рота численностью 90 человек, а уже через несколько дней войска Особой группы НКВД СССР были переформированы в две бригады: 1-ю (командир — полковник М. Ф. Орлов) и 2-ю (командир — подполковник Н. Е. Рохлин).
Шестого июля 1941 года была сформирована 1-я бригада в составе четырех батальонов: 1-го — из личного состава слушателей учебных заведений НКВД и НКГБ; 2-го — из спецрезерва Коминтерна, костяк которого составляли бывшие бойцы и командиры испанских интернациональных бригад; в 3-й и 4-й батальоны вошли спортсмены Центрального института физкультуры и спортивных обществ Москвы, а также добровольцы из числа рабочей молодежи.
Через десять дней, 16 июля, была сформирована 2-я бригада. Ее костяк составляли сотрудники органов госбезопасности и внутренних дел, в том числе милиции и пожарной охраны, а также добровольцы из числа студентов московских вузов. Батальоны бригады делились на отряды, а отряды — на спецгруппы.
В штатах войск Особой группы числились также три отдельные роты: саперно-подрывная, связи и автомобильная, а также школа специалистов (разведчиков и диверсантов), напрямую подчиненная ей.
Уже к концу июня стало ясно, что на фронтах складывается крайне неблагоприятная для Красной армии ситуация. Через неделю после начала войны, 29 июня 1941 года, вышла совместная директива ЦК ВКП(б) и СНК СССР «О мобилизации всех сил и средств на разгром фашистских захватчиков». В ней, в частности, указывалось:
«В занятых врагом районах — создавать партизанские отряды и диверсионные группы для борьбы с частями вражеской армии, для разжигания партизанской войны всюду и везде, для взрыва мостов, дорог, порчи телефонной и телеграфной связи, поджога складов и т. д. В захваченных районах создавать невыносимые условия для врага и всех его пособников, преследовать и уничтожать их на каждом шагу, срывать все их мероприятия».
Из текста можно сделать вывод, что организация партизанских и диверсионных действий в тылу немецких войск высшим военно-политическим руководством СССР рассматривалась не только как задача Вооруженных сил, а как одна из важнейших политических задач партийных и советских органов. Несомненно, что данный документ был пропагандистским, поскольку никакой руководящей партийной или государственной структуры, предназначенной «для разжигания партизанской войны» летом 1941 года еще не существовало. Но, с другой стороны, директива имела колоссальное политическое значение. В тяжелейших условиях, когда многие местные органы власти в прифронтовых районах были деморализованы, она мобилизовала тех, чей дух не сломился перед лицом наступающего врага, пусть даже они и оказались за линией фронта, собрать силы для ведения борьбы с противником.
Соответствующую директиву 30 июня 1941 года получили и в Коминтерне. На встрече с Георгием Димитровым, руководителем Коминтерна, В. М. Молотов сказал:
«Каждый час дорог. Коммунисты должны предпринять везде самые решительные действия в помощь советскому народу. Главное — дезорганизовать тыл врага и разлагать его армию».
Перед руководством Коминтерна ставились три основные задачи: организация саботажа, диверсий и партизанского движения в тылу противника; разложение его войск, особенно войск союзников Германии; организация разведывательной работы в странах Европы.