Сами по себе эти изменения значили очень мало. В ГПУ/ОГПУ вошли большинство сотрудников ЧК, а Дзержинский остался руководителем этого учреждения до своей смерти в 1926 году, когда его преемником стал Вячеслав Рудольфович Менжинский. В течение двадцатых годов ОГПУ придало определенную форму репрессивным функциям ЧК и систематически расширяло сеть осведомителей, распространившуюся во всех слоях населения. Оно также помогло инсценировать первые показательные процессы и продолжало применение принудительного труда.
Декретом от 27 декабря 1929 года Сталин натравил ОГПУ на крестьянство, которое он считал единственной социальной группой, потенциально способной на организованную оппозицию диктатуре. В период коллективизации и лишения собственности было выселено около десяти миллионов крестьян, из которых погибло почти 3,5 миллиона человек. Из-за этого ОГПУ приобрело репутацию террористической организации, схожую с репутацией ЧК, и это оказалось некоторым затруднением для Советского Союза, который стремился быть принятым в то время в Лигу Наций и искал также другие формы международного признания. И опять для соблюдения приличий потребовалась перемена.
После смерти Менжинского в 1934 году, Сталин преобразовал ОГПУ в ГУГБ — Главное Управление Государственной Безопасности, и опять вернул его под начало НКВД. Главой НКВД он назначил Генриха Григорьевича Ягоду, который в качестве заместителя Менжинского снискал его расположение, рьяно руководя убийством крестьян, терроризируя интеллигенцию и уничтожая политических противников.
Кроме ГУГБ. НКВД контролировал также милицию, пограничные и внутренние войска, концентрационные и трудовые лагеря, большую часть транспортной системы и множество промышленных предприятий. В период крупных чисток, начавшихся в 1934 году, широкие слои населения даже не отделяли ГУГБ от основной организации — НКВД. Несмотря на то, что тайная политическая полиция входила в состав ГУГБ, их обобщенно называли НКВД.
В 1936 года Сталин убрал Ягоду под предлогом того, что он недостаточно энергично занимался чистками. Ягоду расстреляли после показательного процесса, на котором его обвинили в убийствах и международном шпионаже. Его преемником стал Николай Иванович Ежов, исключительный человек даже по стандартам того времени. Имея рост немногим выше полутора метров, он получил прозвище "кровавый карлик", и его характер исключительно соответствовал поставленным перед ним задачам. Тем не менее Сталин уволил его в декабре 1938 года, и таким образом убрал одного из свидетелей, знавшего почти все и самое худшее о чистках. О судьбе Ежова объявлено не было, но он был впоследствии расстрелян в подвале Лубянки, где погиб и Ягода. Честолюбивый ученик Сталина — Лаврентий Павлович Берия заменил Ежова на посту Руководителя НКВД.
В результате все расширяющихся программ по принудительному труду, НКВД в 1941 году заведовал большей частью советской промышленности и практически всей Сибирью. Эти обязанности были столь обременительны и настолько не имели никакого отношения к работе тайной политической полиции, что было решено отделить ГУГБ от основной организации НКВД. Политическая полиция опять стала независимой организацией, и была переименована в НКГБ — Народный Комиссариат Государственной Безопасности. Берия продолжал возглавлять НКВД, но умудрялся сохранять эффективный контроль над новым НКГБ, убедив Сталина назначить на пост наркома Гос. Безопасности одного из своих личных протеже Всеволода Николаевича Меркулова.
В 1946 году НКГБ и НКВД получили статус министерств. НКГБ стал МГБ — Министерством Государственной Безопасности, а НКВД стал МВД — Министерством Внутренних Дел. Берия был введен в состав Политбюро, и его преемником на посту главы МВД стал генерал-лейтенант Сергей Никофорович Круглов.
Советская послевоенная стратегия предусматривала усиление тайной деятельности за границей, в особенности против Соединенных Штатов. Министр иностранных дел Вячеслав Молотов доказывал, что обеспечить наилучшим образом исполнение этой политики, можно лишь сосредоточив всю такого рода деятельность под контролем одной организации. Меркулов, поддерживаемый своим патроном Берией, энергично противился этому, опасаясь, что МГБ потеряет заграничные полномочия. Обвинив Меркулова в неспособности использовать возможности для подрывной деятельности, созданные послевоенным хаосом, Сталин заменил его генерал-лейтенантом Виктором Семеновичем Абакумовым, бывшим главой СМЕРШа[51] Затем в 1947 году он создал новый независимый КИ или Комитет Информации. Его создание явилось предвестником начала холодной войны.
