Официально гестапо могло применить без решения суда три вида санкций: предупреждение, превентивное заключение и заключение в концлагерь. Это давало агентам спецслужбы возможность подвергнуть аресту даже оправданного судом политического противника сразу же после его выхода из зала заседаний. Наряду с этими методами широко использовались гестапо и «незаконные»: похищения, убийства, иногда замаскированные под несчастные случаи или самоубийства.
К лету 1936 года Гиммлер наконец добился от Гитлера того, к чему стремился на протяжении последних лет — согласия на свое назначение начальником всей германской полиции. Тем самым был нанесен серьезный удар имперскому министру внутренних дел, у которого рейхсфюрер кроме собственно полиции отобрал еще ряд важных функций. Соответствующий указ Гитлер подписал 17 июня. Немедленно были проведены преобразования.
Полиция Германии того времени делилась на две группы: административную (в нее входили транспортная или промышленная полиция, вневедомственная охрана) и исполнительную (уголовная, политическая полиция, полиция охраны общественного порядка, жандармерия).
Гиммлер, встав по главе полиции, решил эту структуру перестроить. В первую часть, получившую название «полиция безопасности», вошли политическая и уголовная полиции (глава — Гейдрих). Во вторую, полицию общественного порядка — все остальные подразделения, которую возглавил протеже Геринга и имперского министра внутренних дел Фрика Курт Далюге. Последний, по сути, был Гиммлеру навязан.
Полиция безопасности структурно состояла из следующих отделов: административно-правовой, начальник — обер-фюрер СС Вернер Бест; политической полиции, начальник — штандартенфюрер СС Генрих Мюллер; политической контрразведки, начальник — оберфюрер СС Вернер Бест; уголовной полиции, начальник — штурмбанфюрер СС Артур Нёбе.
Хотя формально Гейдрих на посту главы полиции безопасности подчинялся министру внутренних дел, в действительности ни он сам, ни его подчиненные Фриком никак не контролировались. Понятие врага народа становилось все более расплывчатым. Со временем в концентрационные лагеря без соблюдения при этом каких-либо установленных законом процедур стали помещаться лица, относившиеся к трем основным категориям: профессиональные преступники — граждане, три раза отсидевшие в тюрьмах или понесшие дисциплинарные наказания сроком не менее шести месяцев; «асоциальные элементы» — нищие, бродяги, цыгане, праздношатающиеся, проститутки, гомосексуалисты, сутяги, алкоголики, простые хулиганы, нарушители правил дорожного движения, психопаты, душевнобольные, спекулянты; лица без определенных занятий и те, кто в двух случаях отказывался от предлагаемой работы без серьезного основания.
Основная задача концлагерей заключалась в изоляции реальных или мнимых противников национал-социалистского господства. Никогда и ничего не говорилось о том, что они должны были быть там перевоспитаны, стать лояльными. Концлагерь стал исключительно инструментом террора.
Уже на этапе разделения полиции и возникновения двух новых структур — полиции безопасности и полиции общественного порядка, наметилось противостояние их руководителей — Гейдриха и Далюге. За последним, являвшимся достаточно слабой личностью по сравнению со своим конкурентом, стояли некоторые влиятельные высокопоставленные чиновники МВД. Один из них, министериальдиректор Вернер Брахт, вступил с Гейдрихом в открытое противостояние. Камнем преткновения стало желание шефа СД взять под контроль все дела, носящие политическую подоплеку. Особой темой стало и установление реального контроля над криминальной полицией.
Создав руководящую структуру крипо и подчинив его Гейдриху, Гиммлер, тем не менее, не внес соответствующие изменения вниз по вертикали. Получалось, что шеф криминальной полиции Артур Небе, хотя и являлся фактическим руководителем крипо и начальником для всех его подразделений на местах, те в свою очередь по-прежнему подчинялись главам полицейских управлений округов и районов, входивших в полицию общественного порядка. Гейдрих потребовал от Брахта переподчинения своему управлению всех низовых структур, но тот на обращение не отреагировал, пожелав оставить все как есть и сохранить сем самым контроль над криминальной полицией.
