Кровавый тиран требовал новых жертв. Его верный помощник, чтобы добиться прежнего расположения, решил утопить страну в реках крови соотечественников. В'эти годы он выезжал для руководства чисткой во многие районы и возглавлял там репрессии. К его прибытию готовились заранее. Так, ивановская газета «Рабочий край» задолго до приезда Кагановича пестрела заголовками: «Подозрительное поведение тов. Фрумкина», «Перерожденцы из облсовета Осоавиахима», «Двурушник Крутиков исключен из партии» и т. п. Сам Каганович, не успев приехать в Иваново, дал Сталину телеграмму: «Первое ознакомление с материалами показывает, что необходимо немедленно арестовать секретаря обкома Епанчикова. Необходимо также арестовать заведующего отделом пропаганды обкома Михайлова». Получив санкцию вождя, он учинил здесь настоящий разгром. Стоило секретарю Ивановского горкома А. А. Васильеву на проходившем в августе 1937 года пленуме обкома усомниться во вражеской деятельности уже арестованных коллег, как он тут же был исключен из партии, а затем арестован как враг народа. Такая судьба постигла многих руководителей Ивановской области. Позже участь этого края разделил Донбасс, где было арестовано около 140 ведущих работников Донецкого бассейна, директоров заводов и шахт, главных инженеров и партийных руководителей. Списки жертв были утверждены лично Кагановичем.
22 августа 1937 года он был назначен наркомом тяжелой промышленности. Ровно за две недели до этого, после критической статьи в «Гудке», был разгромлен партком Наркомтяжпрома. Таким образом Каганович внес свой вклад в чистку наркомата, еще не успев возглавить его.
С начала 1939 года Каганович стал наркомом топливной промышленности, а в октябре этого же года возглавил Наркомат нефтяной промышленности. Плюс ко всему он еще являлся заместителем Председателя СНК — фактически вторым человеком в Совнаркоме после Молотова. Однако такое обилие ответственных должностей совсем не означало, что отношение к нему Сталина изменилось в лучшую сторону. Даже активное участие в массовом терроре не избавляло Железного наркома от гнева его высочайшего покровителя. Какой бы странной и неправдоподобной ни показалась данная ситуация, в привычке Сталина было сначала возвышать людей, давать им определенные надежды на благополучное будущее, а затем резко менять их судьбу.
В начале 1941 года дистанция между Кагановичем и Сталиным еще более увеличилась. На прошедших в феврале партийных форумах Каганович не только ни разу не выступил, но даже не председательствовал ни на одном из заседаний. В президиуме он теперь сидел в заднем углу, далеко от вождя. На протяжении предвоенных месяцев подведомственная ему печать все реже называла его «сталинским наркомом», а чаще — просто «наркомом» и даже еще проще — «тов. Л. М. Кагановичем». Передовицы редко цитировали его; в письмах трудящихся он почти не упоминался. В апреле 1941 года прошло совещание производственно-хозяйственного актива НКПС, но ни доклад «тов. Кагановича», ни его портрет не публиковались в «Гудке».
Война оттянула на время трагическую развязку событий. Учитывая тяжелейшую обстановку на железных дорогах, назначение нового наркома путей сообщения было равносильно гибели данной народнохозяйственной отрасли. На Кагановича в этот период обрушилась лавина дел. 24 июня под его председательством был создан Совет по эвакуации, но уже 16 июля на этот пост был назначен Шверник. Это не означало продолжения опалы: Сталину было не до сведения счетов с надоевшим приближенным. Железный нарком был так занят делами на транспорте, что у него не оставалось ни сил, ни времени на решение иных вопросов. Однако, по признанию отечественных и зарубежных исследователей, именно Кагановичу, давшему первоначальный толчок в этом направлении, принадлежит заслуга в успешной эвакуации советской промышленности.
Железные дороги справились с невероятно трудными задачами военных лет, и в этом тоже была заслуга Лазаря Кагановича. 5 ноября 1943 года ему присвоили звание Героя Социалистического Труда. Уже в следующем году Каганович переключился на более мирную хозяйственную работу. В декабре он стал заместителем Председателя СНК СССР, а в 1946 году — министром промышленности строительных материалов. Заметим, что данная отрасль была наиболее отстающей в послевоенный период.
В 1947 году Сталин бросил своего Железного наркома на не менее сложный участок — направил на Украину в качестве первого секретаря КП(б)У. Здесь существовали трудности с выполнением плана хлебозаготовок из-за тяжелой засухи. Сталин был недоволен Хрущевым, который уже девятый год являлся партийным руководителем этой республики. Но, чтобы подчеркнуть свое нерасположение к Кагановичу, он оставил Хрущева на Украине, назначив его на пост Председателя Совета Министров УССР. Сталин также потребовал, чтобы все докладные записки подписывались обоими руководителями, что не могло не унизить Кагановича.
