Ранним утром б июля 1918 года Блюмкин с помощью заместителя председателя ВЧК эсера Вячеслава Александровича Александровича (был расстрелян после подавления эсеровского мятежа 8 июля 1918 года по приговору коллегии ВЧК за измену служебному долгу в числе 13 самых активных участников восстания) взял в канцелярии пустой бланк удостоверения и умело подделал подпись Дзержинского. По этому удостоверению ему предоставили в личное распоряжение автомобиль. В 14 часов 15 минут темный паккард остановился у особняка германского посольства в Денежном переулке в Москве. Блюмкин приказал водителю не глушить мотор, а сам показал советнику посольства мандат и потребовал личной встречи с Мирбахом. Его и Андреева провели в гостиную и предложили присесть на диван. Вскоре к ним навстречу вышел Мирбах в сопровождении советников Рицлера и Мюллера.
Блюмкин предъявил Мирбаху бумаги, из которых вытекало, что его родственники из числа военнопленных уличены в шпионской деятельности. Мирбах ответил, что ничего не слышал об этих родственниках и их судьба ему безразлична. Не вдаваясь в дальнейшие дискуссии, Андреев и Блюмкин выхватили револьверы и открыли ураганный огонь по служащим посольства. Раненые Мюллер и Рицлер повалились на пол, а Мирбах, также раненый, пытался бежать. Блюмкин бросил вслед ему бомбу. Взрывной волной его самого отбросило на несколько метров назад. Но цель была достигнута — Мирбах, обливаясь кровью, замертво рухнул на ковер.
Оставив запасное взрывное устройство и мандат на столе, террористы выпрыгнули в одно из выбитых взрывной волной окно. Андреев бежал первым и вскоре оказался в машине. Оглянувшись, он увидел, что Блюмкин с трудом переваливается через ограду. Из посольства по ним стреляли. Одна из пуль попала Блюмкину в ногу. Тем не менее он добрался до машины и приказал водителю:
— Гони!
Ничего не понимающий шофер нажал на газ. Оказалось, что помимо полученного ранения Блюмкин при падении сломал себе ногу. Блюмкина доставили в штаб заговорщиков, остригли и, переодев в форму красноармейца, отправили в госпиталь. Фамилию Блюмкина запомнил выживший Мюллер, однако чекисты не смогли его опознать в госпитале. Как известно, заговор левых эсеров провалился, а Блюмкин бежал на Украину под именем Григория Вишневского. Здесь он продолжил свою революционную деятельность и объявил о намерении убить гетмана Павла Скоропадского, который тесно сотрудничал с германскими оккупационными войсками. Впрочем, сделать ему этого не удалось. Более того, однажды он был пойман петлюровцами, которые жестоко его пытали и выбили ему передние зубы, которые до самой своей смерти он так и не вставил.
Его революционная деятельность не осталась незамеченной. 16 мая 1919 года Блюмкина амнистировал президиум ВЦИК.
Строго говоря, в истории с убийством Мирбаха и роли в этом Блюмкина много непонятного. Как говорят в таких случаях, чтобы понять суть происходящих событий, посмотри, кому все это было выгодно. При таких условиях получается, что выгодно это было прежде всего большевикам. Ведь они одним махом расправились с целой партией, как они их называли, «попутчиков», которым, несмотря на то что они вместе брали Зимний дворец, никогда не доверяли. Не исключено, что Блюмкин просто выступил в роли профессионального провокатора.
Как бы то ни было, Блюмкин вновь стал востребованным революцией. Он порвал с левыми эсерами, которые устроили на него несколько покушений — его несколько раз ранили, в том числе и не без участия его любовницы эсерки Лиды Сорокиной.
Руководство Реввоенсовета предложило Блюмкину убить адмирала А.В. Колчака, провозгласившего себя Верховным правителем России, на что он немедленно согласился. Роль революционного терминатора ему явно нравилась. Впрочем, Колчак был убит без его участия.
В течение некоторого времени Блюмкин был комбригом 27-й Омской стрелковой дивизии. Члены Реввоенсовета Южного фронта И.В. Сталин и Серебряков доверили ему вести контрразведывательную деятельность.
В июне 1920 года Блюмкин отбыл в Северный Иран. Всего за четыре месяца он подготовил и осуществил государственный переворот в Северном Иране. Правительство Кучук-хана было низложено, а к власти пришел Эхсанулла-хан, объявивший себя коммунистом. Блюмкина вернули в Москву, наградили боевыми наградами и отправили учиться во вновь открытую Академию Генерального штаба РККА.
Когда он был на последнем курсе, к себе в секретариат его забрал Л.Д. Троцкий. Но вскоре Дзержинский вернул Блюмкина в ОГПУ в иностранный отдел на должность главного инструктора государственной внутренней охраны Монгольской республики. Блюмкин руководил советской разведкой помимо Монголии в Тибете и в северных районах Китая. В Китае он помог в качестве военного специалиста генералу Фэн Юйсяну. На короткое время его снова вернули в Россию, где он участвовал в подавлении антисоветского выступления чеченцев, а затем он вновь уехал в Монголию.