В результате, осенью 1921 года его переводят в Рабоче-крестьянскую инспекцию, чтобы заставить работать и тамошний аппарат. Мехлис и здесь справляется с этой работой, кроме того, он активно работает и в самой Инспекции, становясь грозой чиновных воров, расхитителей и просто разгильдяев. Через год его забирает из Рабкрина Сталин, который хорошо знал Мехлиса ещё по Юго-Западному фронту, и поручает ему навести порядок в работе аппарата ЦК РКП(б). Мехлис справляется и с этой работой, в результате чего он мог уже с полным основанием считать себя специалистом по совершенствованию структур управления, или, как он писал:
Но у налаживания чего угодно должен быть конец: если ты добросовестно относишься к этой работе, то, в конце концов, налаживаешь механизм, и он начинает хорошо работать, но после этого у тебя работа теряет творческие начала и становится рутиной. Так получилось и с Мехлисом, и в начале 1926 года он упросил ЦК отпустить его учиться. В 1929 году он оканчивает Институт красной профессуры, причём его интеллект и способности отмечают преподаватели — его учебные работы публикуются в теоретическом журнале коммунистов «Большевик». В связи с этим Мехлиса после окончания учёбы направляют работать в главную газету ВКП(б), в ней он начинает службу ответственным секретарём, а вскоре становится главным редактором «Правды». На этом посту работа Мехлиса отмечена его огромными интеллектом и самоотверженностью: Мехлис работает без отпусков и выходных, его, заболевшего, из кабинета увозят в больницу, а из больницы он возвращается не домой, а в кабинет.
В 1937 году выясняется, что в армии окопались предатели, одним из главарей изменников оказался главный комиссар РККА Я.Б. Гамарник. К его чести следует сказать, что, когда он понял, что арест и разоблачение неминуемы, то, чтобы не потянуть за собою товарищей, у него хватило мужества застрелиться и затруднить разоблачение своих подельников, к примеру, маршала Блюхера. Этого мужества, надо сказать, ни на копейку не оказалось у трусливых заговорщиков-полководцев, которые хором и подло топили друг друга на следствии. Как бы то ни было, но место главного комиссара осталось вакантным, и после перебора вариантов в конце 1937 года на должность начальника Политического управления РККА был назначен Лев Захарович Мехлис.
Первое, что ему пришлось делать, это продолжать чистить армию от предателей, но, главным образом, от подлых мерзавцев, соблазнившихся военной службой ради высоких окладов и пенсий — от мусора, который и вызвал впоследствии тяжелейшие потери советского народа в Отечественной войне. Этот мусор противостоял Мехлису, причём таких, как Мехлис, в армии было не много, а мусора — очень много, поэтому мусор своими голосами глушил мнение Мехлиса даже в глазах тех, кто Мехлису безусловно верил, — в глазах Сталина, Ворошилова, Тимошенко. Вот «приобщившийся к демократическим ценностям» Ю. Рубцов описывает якобы несправедливое недоверие Мехлиса к генерал-лейтенанту М.Ф. Лукину, о подвиге которого я уже писал.
