С 1916 года Г.Ягода работал на Путиловском заводе помощником у Н.И.Подвойского, с которым его судьба затем связывала в годы Октября и гражданской войны. С 1919 года он член Коллегии Наркомата внешней торговли по вопросам охраны границы и одновременно входил в состав ВЧК. После он стал управляющим делами ВЧК, заместителем начальника Особого отдела. В 1924 году Ягода занимал уже должность заместителя начальника ОГПУ. Его роль возросла в связи с уходом из органов верных соратников Ф.Э.Дзержинского, таких, как М.Лацис, Я.Петерс, М.Кедров, И.Уншлихт и других.
Характерные черты и политическая склонность Ягоды как заместителя председателя ОГПУ проявились в самые горячие годы борьбы партии с оппозиционерами. Как личный друг Бухарина, Ягода был на его стороне, но, чтобы скрыть свои взгляды, он всячески стремился показать себя лояльным и преданным Сталину.
В эти годы он создает в ОГПУ, а затем в НКВД свой аппарат, подчиненный и верный только ему — Генриху Ягоде. Первым его заместителем был назначен Агранов (Сорензен) Яков Саулович, начальниками отделов: Особого — Гай Мирон Ильич, Экономического — Миронов Самуил, Иностранного — Слуцкий Аркадий Аркадьевич, Транспортного — Шанин Абрам Моисеевич, Оперативного — Паукер Карл Вениаминович, Специального — Добродецкий Вениамин Исакович, Антирелигиозного — Иоффе Исай Львович, Главного управления рабоче-крестьянской милиции — Вольский Лев Наумович, Уголовного розыска — Вуль Леонид Иосифович, Главного управления внешней и внутренней охраны — Могилевский Борис Ефимович, Инспекции погранвойск — Ширвиндт Семен.
Начальниками управлений лагерей (ГУЛАГ): Берман, Нахимсон, Френкель, их заместителями: Фирин, Раппопорт, Абрамсон. Начальниками крупных лагерей: Коган, Биксон, Серпуховский, Филькельштейн, Погребский, Мороз Яков Моисеевич, свояк Ягоды, сын которого впоследствии станет мужем Светланы Аллилуевой, дочери Сталина.
Начальниками краевых и областных управлений НКВД были: Абрампольский, Балицкий, Блат, Гоглидзе, Гоголь, Дерибас, Заковский, Замин, Заликман, Карлсон, Канцельсон, Круковский, Леплевский, Пилляр, Райтский, Суворов, Троцкий, Файвилович, Фридберг, Шкляр и многие другие приспешники Ягоды, большинство из которых были ярыми оппозиционерами и даже агентами германской разведки.
В основном это были лица еврейской национальности, близкие к Троцкому и видным его сторонникам, но скрывавшие свое прошлое и настоящие политические взгляды.
Генрих Ягода, сосредоточивший в своих руках огромный оперативный аппарат НКВД, обладал, таким образом, большими агентурными и информационными возможностями, хорошо знал о наличии в СССР широко разветвленной, мощной подпольной сети троцкистской организации, охватывавшей важные узловые пункты политической и экономической систем, которая, по его мнению, имела все реальные возможности прийти к власти и создать иной режим в стране. Ягода хотел быть на стороне победителей, поэтому являлся тайным агентом “правотроцкистского блока”, к которому примкнул в 1929 году. Он сам говорил на следствии и суде: “Я очень внимательно приглядывался к ходу борьбы, заранее определив для себя, что пристану к той стороне, которая победит в этой борьбе. Когда начались репрессии против троцкистов, вопрос о том, кто победит — троцкисты или ЦК ВКП(б), — окончательно еще не был решен. Во всяком случае так думал я. Поэтому я как заместитель председателя ОГПУ в карательной политике исходил из того, чтобы не озлоблять против себя троцкистов. Направляя их в ссылки, я создавал им там такие условия, при которых они могли продолжать свою деятельность” (т 1, л.д.58).
Об участии Ягоды в заговоре знала только незначительная верхушка правых и всячески держала это в строгой тайне, полагаясь в нужный момент на его помощь. Со своей стороны Ягода щедро платил им за это, используя служебное положение. На судебном процессе он показал: “... я на протяжении ряда лет принимал все меры к тому, чтобы оградить организацию, в особенности ее центр, от провала” (СО. С.502).
Когда в 1933 году неожиданно был арестован Н.Смирнов., один из организаторов троцкистско-зиновьевского террористического центра, Ягода под предлогом допроса заключенного посетил его в камере и “проинструктировал” о том, как ему держаться на допросе.
С его помощью в аппарат ОГПУ проникли многие агенты иностранных разведок, как, например, Паукер и Волович. Он считал их ценными помощниками при осуществлении заговорщических планов и для связи с иностранными разведками.
Несмотря на то, что внешне Ягода выглядел спокойным и уравновешенным, в действительности он был человеком весьма честолюбивым, жестким и коварным. Он понимал, что тайная деятельность троцкистов зависела от него, и возомнил себя главной фигурой всего заговора.