В связи с введением нового режима в тюрьмах ГУГБ и следственных изоляторах были усилены меры наказания к «хулиганствующим заключённым». За оскорбительные словесные или письменные заявления заключённых, оскорбительные выходки (плевки, ругательства, попытки нанести оскорбления действием) предусматривался перевод в более строгую тюрьму, применение более строгого тюремного режима, заключение в карцер до 20 суток, предание суду. Так, в приказе от 8 февраля 1937 года Ежов предписывал предать суду целый список содержавшихся в тюрьмах ГУГБ осуждённых на разные сроки заключённых, приславших ему в связи с введением нового тюремного режима оскорбительные заявления.
Внесудебные репрессии второй половины 30-х годов сочетались с жёстким уголовным законодательством, и, как следствие этого, широко применялось наказание в виде лишения свободы. При Ежове было значительно упрощено производство по делам о контрреволюционных преступлениях на основании постановления ЦИК СССР от 14 сентября 1937 года «О внесении изменений в действующее уголовно-процессуальное законодательство союзных республик». Вслед за этим постановлением ЦИК СССР от 2 октября 1937 года повысились максимальные пределы наказания в виде лишения свободы от 10 до 25 лет за шпионаж, террор, диверсии.
Кара, уголовное наказание становилось основным методом борьбы со всеми антиобщественными проявлениями и правонарушениями. Обязательность применения таких мер в указанных постановлениях ЦИК СССР обосновывалась необходимостью предупреждения и сокращения преступности.
При Ежове начала формироваться система тюрем, подчинённых 10-му отделу Главного управления государственной безопасности (ГУГБ) НКВД СССР. ОНИ предназначались исключительно для содержания подследственных и осуждённых по составу контрреволюционных преступлений. К непосредственно подчинённым этому отделу тюрьмам Верхнеуральской, Суздальской, Челябинской, Ярославской и на острове Соловки (удалённых от центра) прибавились Бутырская, Владимирская, Лефортовская и Орловская тюрьмы, находившиеся до этого в составе ГУЛАГа. Повсеместно при следственных тюрьмах ГУЛАГа создавались так называемые внутренние тюрьмы для содержания подследственных по составу контрреволюционных преступлений и подчинённых исключительно ГУГБ НКВД СССР.
Создание при тюрьмах ГУЛАГа (по состоянию на 20 сентября 1939 г. в стране имелось 392 тюрьмы) внутренних тюрем ГУГБ потребовало изменения порядка управления ими в силу того, что содержавшиеся под следствием числились за разными ведомствами — ГУГБ и ГУРКМ, а уже осуждённые — за ГУГБ и ГУЛАГ НКВД СССР. В 1938 году
Ежов требовал жесточайшей изоляции контрреволюционеров в тюрьмах. Отсюда в тюрьмах ГУГБ категорически запрещалось использовать заключённых на работах вообще, в том числе по обслуживанию собственных нужд тюрем. В силу общения со специфическим контингентом от сотрудников требовались высокая политическая бдительность и профессионализм, соответствующие морально-деловые качества. Отсюда большое значение придавалось партийно-политической и воспитательной работе не только с личным составом, но и членами их семей. Это требование и послужило непосредственной причиной создания в ноябре 1937 года в составе 10-го отдела ГУГБ в соответствии с постановлением ЦК ВКП(б) политического отдела с функциями руководства партийными организациями, организацией политико-воспитательной и культурно-просветительной работы среди личного состава. Непосредственно в тюрьмах решение задачи возлагалось на политаппараты, которым подчинялись политруки в дежурных сменах.
Следующим мероприятием было дифференцированное размещение контингента по исправительно-трудовым лагерям. При отправке устанавливались следующие ограничения.
Не подлежали направлению в лагеря Байкало-Амурский, Дмитровский, Темниковский, Дальневосточный, Вяземский, Калужский, Волжский, Самарский, а также на строительство Сталинградской водопроводной станции, Юго-Восточной гавани и Подольского аэропорта осуждённые за измену Родине, шпионаж, совершение террористических актов, разрушение и повреждение государственного имущества, воинские преступления, за вооружённый разбой, контрреволюционную троцкистско-зиновьевско-бухаринскую деятельность, руководители и активные члены контрреволюционных фашистских и националистических организаций, руководители повстанческих организаций, бывшие белогвардейцы и иностранные подданные независимо от статьи осуждённых.