1934 год с точки зрения проведения репрессий был относительно спокойным. Об этом свидетельствует сильное уменьшение числа приговоренных подследственных ОГПУ, которое упало до 79 000 против 240 000 в 1933 году. Политическая полиция была реорганизована. Согласно указу от 10 июля 1934 года ОГПУ стало одним из отделов нового Народного комиссариата внутренних дел, организованного в качестве всесоюзного. Теперь ОГПУ могло бы показаться почти затерянным среди менее опасных отделов, таких как рабоче-крестьянская милиция, пограничники и т. д., тем более что было изменено его название. Называясь теперь Народным комиссариатом внутренних дел или сокращенно НКВД, секретные органы потеряли часть своих юридических привилегий; по окончании следствия дела надо было «передавать в компетентные судебные органы», и они не имели больше возможности «приговаривать к смертной казни» без разрешения центральной политической власти. Создана была также процедура апелляции, а все списки приговоренных к смерти утверждались на Политбюро.
Эти перемены, представленные как «меры по укреплению социалистической законности», имели, однако, весьма ограниченную эффективность. Контроль за ордерами на аресты, подписанными прокуратурой, оказался невозможным, потому что генеральный прокурор Вышинский дал всю полноту власти репрессивным органам. С другой стороны, начиная с сентября 1934 года Политбюро приостановило им же утвержденную недавно процедуру рассмотрения приговоров к высшей мере и разрешило ответственным представителям местной власти не обращаться за утверждением таких приговоров к Москве. Но затишье длилось недолго.
1 декабря 1934 года произошло убийство Сергея Кирова, члена Политбюро и первого секретаря Ленинградской партийной организации. Убийцей оказался молодой экзальтированный коммунист Леонид Николаев, которому удалось с оружием проникнуть в Смольный, где размещались руководящие органы Ленинградской партийной организации.
В последующие годы гипотеза о прямом участии Сталина в убийстве его главного «политического соперника» подтвердилась в разоблачительной речи Хрущева, в его так называемом «закрытом докладе», сделанном в ночь с 24 на 25 февраля 1956 года на XX съезде партии. Однако эта гипотеза недавно была опровергнута в работе Аллы Кириллиной, которая опиралась на неопубликованные архивные данные. Из этого тем не менее не следует, что убийство Кирова не было на руку Сталину и не было им широко использовано в политических целях. Сталин сумел пустить в ход саму идею постоянного наличия заговора — она позволяла поддерживать атмосферу кризиса и напряжения в стране. В любой момент заговор мог стать вполне осязаемым доказательством реального существования обширной конспиративной организации, угрожающей стране, ее правительству и социализму. Отныне всегда под рукой было блестящее объяснение слабостей системы: если что-то было не в порядке в стране, если жизнь трудна — а ведь, согласно Сталину, «жить стало лучше, жить стало веселее», — значит, вина лежит на убийцах Кирова.
Несколько часов спустя после убийства был издан декрет, известный как «Закон от 1 декабря». Эта необычная мера была принята по личному распоряжению Сталина, и только через два дня она была обсуждена на Политбюро, поддержавшем сокращение до десяти дней разбирательство дел террористов, обсуждение дел в отсутствии сторон, также, как немедленное исполнение приговора о смертной казни. Этот закон, отменивший «длительные», растянувшиеся на несколько месяцев, судебные процедуры, должен был стать идеальным инструментом в развязывании Большого террора.