Теперь план заключался в том, чтобы бросить ручные бомбы в экипаж Витте. Исполнителями должны были стать Федоров и Петров, успевший вновь бежать из ссылки. Однако подельники внимательно следили за Казанцевым: теперь они обратили внимание, что он вовсе не употребляет «партийную» лексику, а затем нашли у него брошюрки Союза русского народа. 27 мая 1907 года около полудня Федоров пришел на встречу с Казанцевым близ Ириновской железной дороги (узкоколейная ветка от Охтинского вокзала до Ладожского озера). Казанцев принес бомбы. Выждав удобный момент, Федоров ударил его кинжалом в шею. Когда Федоров попытался забрать его бумаги, Казанцев начал шевелиться; растерявшийся Федоров стал наносить ему кинжалом удары по лицу, забыв вынуть его из ножен. Затем он выхватил кинжал и нанес по шее удар такой силы, что голова Казанцева почти отделилась от туловища.
После этого Федоров отыскал эсеров и все им рассказал; он хотел, чтобы его судили партийным судом. Однако эсеры переправили Федорова за границу и опубликовали в своей газете «Знамя труда» статью обо всей этой кошмарной истории. Статья так и называлась: «Кошмар». Публикации появились также во французских газетах, в том числе в «Matin».
Очевидно, привлекая к совершению покушения радикалов, причастных в прошлом к деятельности социалистических партий и искренне считавших, что выполняют задания одной из них, черносотенцы стремились убить двух зайцев: ликвидировать одних своих политических противников и дискредитировать других. Додумался ли до этого сам Казанцев или его руководители (последнее более вероятно), остается гадать. Во всяком случае, Буксгевден, у которого служил Казанцев, несомненно, был в курсе его действий.
Возможно, разразившийся скандал приостановил террористическую кампанию «союзников». У них были далеко идущие планы: накануне убийства Герценштейна Юскевич раздал боевикам, кроме фотографии первой намеченной жертвы, фото депутатов Думы А. Ф. Аладьина, М. М. Винавера, И. И. Петрункевича и некоторых других. А «блажной Павлик», как его прозвали соратники, адвокат Павел Булацель на одном из заседаний Главного совета СРН призвал отвечать на теракты левых убийствами, «например, Грузенберга, Винавера, Милюкова, Столыпина и Щегловитова».
Булацель был редактором главного печатного органа СРН – газеты «Русское знамя». Неоднократно выступал в качестве защитника в судах по делам черносотенцев. «Отличился» на процессе по делу о еврейском погроме в Томске в 1905 году, заявив в ответ на требование председателя не употреблять оскорбительных для свидетеля выражений: «Если в Томске принято называть жидов евреями, я подчиняюсь».
Царских министров Столыпина и Щегловитова Булацель считал «главными виновниками и потворщиками» происходивших в России беспорядков. Собственно, не только Столыпин и Щегловитов, но и другие перечисленные им деятели никакого отношения к терроризму не имели. Это был перебор даже для черносотенцев, однако Дубровин не остановился перед тем, чтобы дать распоряжение дружинникам СРН «нанести Милюкову удар кастетом по затылку». Боевик «по инструкции» напал на лидера кадетов сзади на улице, нанеся тому несколько ударов, но дело обошлось сбитым котелком и разбитым пенсне. Пустить в ход кастет молодчик не решился.
Еще одной жертвой террора стал депутат II Государственной думы, один из лидеров фракции трудовиков доктор Александр Караваев. После досрочного роспуска Думы Караваев вернулся к работе по специальности. 4 марта 1908 года он был смертельно ранен в своем кабинете в Екатеринославе во время приема больных двумя выстрелами в грудь. Хотя убийцы скрылись и остались неразысканными, общественное мнение «записало» это убийство на счет черносотенцев. Уж больно оно вписывалось в их террористическую кампанию.
Вероятно, остались бы неразысканными и убийцы Герценштейна (хотя установить их личности для полиции особого труда не составляло), если бы не очередной конфликт в среде «патриотов». Кандидат в члены главного совета СРН и секретарь редакции газеты «союзников» «Русское знамя» Александр Пруссаков рассорился с Дубровиным, к которому был довольно близок, и вышел из Союза. Мало того, в 1909 году он опубликовал сатирическую пьесу «Доктор Зубровин и компания», в которой была изображена жизнь «Главного управления Патриотического общества». В пьесе содержались прозрачные намеки на организацию «патриотами» убийства Герценштейна. Важнее было то, что Пруссаков дал показания о причастности к убийству руководства Союза русского народа.
Начались аресты. Поначалу черносотенная печать выступила с открытой защитой убийц. Известный публицист правого толка Борис Юзефович писал в «Русском знамени»:
