Немного поколебавшись, Ежов согласился. Начав работать с Аграновым, Слуцкий подключил к следствию также и Баранова, рассчитывая, видимо, отвлечь его этим посторонним занятием от внутриотдельских интриг. Первое время Баранову поручили допрашивать жену Агранова, затем он был привлечен к допросам самого Агранова. И вот однажды, когда Баранов оказался с Аграновым наедине, тот вдруг «активизировался», то есть выразил желание дать показания по собственной инициативе. К этому времени Агранов, обозленный, видимо, тем, что под него «копает» старый товарищ, ждал, вероятно, лишь случая, чтобы поквитаться с ним. Выразившись в том духе, что прежде, когда его допрашивала «разная сволочь, которой еще очень много в отделе Слуцкого», он не был готов к излишней откровенности, Агранов заявил, что Баранову он доверяет и хочет сообщить все, что знает о враждебной деятельности самого Слуцкого в органах НКВД.
Выслушав Агранова и взяв у него письменное обязательство дать на следующий день развернутые показания по этому вопросу, Баранов отправил его обратно в камеру, а сам поспешил к Ежову. Придя в секретариат, он заявил И. И. Шапиро, что имеет сообщение особой важности для наркома и просит, чтобы Ежов срочно его принял. Узнав, о чем идет речь, Шапиро доложил Ежову, но тот уклонился от встречи с Барановым, сославшись на необходимость ехать по делам в ЦК; под каким-то предлогом отказался с ним встретиться и присутствовавший при разговоре М. П. Фриновский. Однако уже на следующий день они вызвали Агранова к себе и допросили его. Затем Фриновский встретился с Барановым и выслушал его рассказ. Результатом этих разбирательств стало отстранение Баранова от следствия под предлогом необходимости готовиться к командировке за границу (куда он так и не поехал). Вместо него в следственную группу по указанию Ежова был включен другой посланец партии — бывший сотрудник аппарата ЦК ВКП(б) И. В. Курмашев, пришедший на работу в Иностранный отдел в мае 1937 года.
Однако Курмашев, с которым Баранов поделился всем, что успел узнать от Агранова, оказался ничуть не лучше своего предшественника. После нескольких проведенных им допросов Агранов снова начал давать показания на своего бывшего товарища, после чего Баранов с Курмашевым отправились к Фриновскому с предложением арестовать, наконец, Слуцкого и «расколоть» его.
Фриновский с этой идеей не согласился, не нашла она поддержки и у Ежова. Следствие по делу Агранова он распорядился из Иностранного отдела забрать и передать в Секретно-политический, обосновав это необходимостью сосредоточить все дела о чекистах — врагах народа в одном месте. Такое решение в какой-то мере снижало остроту возникшей проблемы, однако Ежов не мог не отдавать себе отчета в том, что ситуация фактически вышла из-под контроля. Не в меру активные Баранов и Курмашев, не успевшие за сравнительно короткий период своей работы в органах усвоить чекистские корпоративные традиции, могли решиться «вынести сор из избы» (слухи о показаниях Агранова начали уже расползаться по НКВД), и тогда было бы очень трудно объяснить Хозяину, по какой причине от него в течение долгого времени скрывались материалы, изобличающие руководителя одного из важнейших чекистских подразделений.
Размышляя над создавшейся ситуацией, Ежов в конце концов пришел к выводу, что Слуцкого придется «сдать», и, утвердившись в неизбежности этого шага, отправился на доклад к Сталину. Ознакомив вождя с обвинениями в адрес Слуцкого, Ежов в то же время высказал мнение о нецелесообразности его ареста, поскольку сотрудники зарубежных резидентур, в большинстве своем подобранные лично Слуцким, восприняли бы это как сигнал опасности, что, в свою очередь, могло спровоцировать массовый отказ от возвращения на родину. В последнее время резиденты и без того крайне неохотно приезжали в охваченную чисткой страну, под разными предлогами уклоняясь от встречи с начальством.
В результате обсуждения решено было избавиться от Слуцкого более аккуратным способом, страхующим от проявления нелояльности со стороны работающих за границей чекистов. Технические детали предстоящего спецмероприятия Сталин оставил на усмотрение Ежова.
Чтобы избежать возможных подозрений в причастности к смерти Слуцкого, Ежов решил приурочить его ликвидацию к моменту своего отсутствия в Москве, благо как раз вскоре нужно было совершить инспекционную поездку на Украину. Разбираться со Слуцким он поручил Фриновскому, разрешив при необходимости привлекать к участию в данной акции любых помощников, разъяснив им предварительно причины, побуждающие устранять Слуцкого таким необычным способом.
