Тогда Крыленко произнес в Верховном трибунале большую многочасовую речь, в которой с присущей ему революционной страстностью доказывал вину подсудимых — их было 34 человека. В самом начале своей речи он сказал:
История рассудила — сегодня никто не верит, что на этом процессе судили за конкретные дела, а не по политическим соображениям.
Крыленко много работал, с его именем неразрывно связана вся история становления органов советской прокуратуры. В сентябре 1928 года, оставаясь заместителем наркома, он был назначен прокурором республики.
В мае 1928 года в Москве под председательством Вышинского начался грандиозный политический процесс над группой «вредителей» в угольной промышленности, известный как «Шахтинское дело». Специальному присутствию Верховного суда СССР были преданы 53 специалиста старой буржуазной школы. По версии следствия, «вредители», инженеры и техники Шахтинского района Донбасса, были тесно связаны с бывшими собственниками предприятий, русскими и иностранными, и ставили своей целью «сорвать рост социалистической промышленности и облегчить восстановление капитализма в СССР». Поддерживал обвинение по этому делу Крыленко. Тогда они с Вышинским были вместе. Но уже 5 мая 1931 года Крыленко был назначен народным комиссаром юстиции РСФСР. Свое прокурорское место он уступил Вышинскому, новой восходящей юридической «звезде», который всего через несколько лет растопчет и предаст анафеме имя Крыленко, а его самого уничтожит.
На посту наркома юстиции Крыленко уже не выступал на громких уголовных и политических процессах, этим с упоением занимался Вышинский. Но он оставался верным проводником идей партии и правительства, по-прежнему громил «классовых врагов», по-прежнему был беспощаден к ним.
На 1935 год пришлись два юбилея Крыленко — тридцатилетие активной революционной и профессиональной деятельности и пятидесятилетие со дня рождения. В печати появилось много приветственных статей и поздравлений. В одном из них отмечалось:
Но приближался 1937 год. Крыленко, уже нарком юстиции Союза ССР, находится в самом расцвете сил. Казалось бы, что ему может угрожать? Тем более он сам принимает самое активное участие в чистках органов юстиции, которые заканчивались арестами и расстрелами. Но обстановка была такой, что уже никто ни за что не мог поручиться. И Крыленко нес свою долю ответственности за происходящее.
Вот как вспоминал ее Анатолий Антонович Волин: