Уже в 1944 году Каганович все более и более переключается на мирную хозяйственную работу. Оставаясь заместителем председателя Совета министров СССР и председателем Транспортной комиссии, Каганович был назначен на пост министра промышленности строительных материалов, это была одна из наиболее отстающих отраслей.
Влияние Кагановича продолжало меняться в течение войны. Он выполнял важные задания, но общее руководство военной экономикой по линии Совета министров и ГКО осуществлял в первую очередь И. Вознесенский, а по партийной линии — Г. Маленков. Вознесенский в 1945–1946 годах нередко руководил заседаниями Совета министров СССР. В партийно-государственной иерархии имя Кагановича стояло и в 1946 году лишь на девятом месте — после Сталина, Молотова, Берии, Жданова, Маленкова, Вознесенского, Калинина и Ворошилова.
Почти для всех руководителей война стала жестоким испытанием на эффективность. В результате завоевали авторитет кадры нового поколения — Косыгин, Устинов, Кузнецов, Барабанов, Шахурин и многие другие, внесшие ощутимый вклад в победу. После Хиросимы лучшие силы и огромные средства были брошены на осуществление атомного проекта. Каганович не принимал в нем участия и, по-видимому, вообще не был в курсе производившихся сверхсекретных работ.
Но и производство стройматериалов для разрушенной войной страны было отнюдь не последним делом. В первый раз приехав в министерство, Каганович у себя в кабинете выстроил в шеренгу замов. Они оказались как на подбор физически крепкие, высокие. «Я не плох, — сказал их новый шеф, — но и замы у меня хороши». Начал он свою деятельность с прорубания в здании министерства нового персонального лифта для себя. Возле лифта поставили охрану. В середине дня министру привозили опломбированный обед. Начальник личной охраны, генерал-майор, пробовал блюда в комнате отдыха, после чего к ним приступал и хозяин.
И на этом посту рукоприкладство было стилем его работы. Ни разу непонравившаяся бумага не была возвращена в руки подчиненного — комкал и швырял в лицо. Седой зав-секретариатом ползал по полу и собирал; вскоре у него начала трястись голова, и Каганович сказал: «Тебе, старый баран, надо отдохнуть, пойти в другое место, вместо тебя возьму твоего сына». Завотделом стройматериалов Совмина Владимир Александрович Коленков говорил впоследствии: «Когда мы думали о том, что надо идти на работу, — лучше б, казалось, под трамвай попасть, чем идти на работу».
Однажды Каганович замахнулся на одного из своих заместителей, но тот пообещал дать сдачи. «Ух, какой смелый», — сказал Лазарь, и на этом инцидент был исчерпан.
Весь аппарат министерства сидел на рабочих местах практически круглосуточно. Если кто-нибудь и успевал приехать домой, чтобы отдохнуть и пообедать, — не проходило и получаса, как работника вызывали обратно в министерство по срочному делу. Дети не видели отцов месяцами. Болезни на нервной почве были обычным явлением.
По праздникам Каганович посылал подчиненного объехать Москву и посмотреть: как висят его портреты? Точно ли на том же месте от портрета Сталина — или перемещены?
Когда про одного из работников нашептали, что он много пьет, Лазарь при очередной встрече у себя в кабинете спросил у него: ты, мол, сколько можешь выпить? «Пол-литра», — ответил тот. «Ну, пол-литра и я могу», — заявил министр и потерял интерес к вопросу.
Как-то раз, зайдя в кабинет к своему заместителю И. П. Гвоздареву, Каганович случайно увидел там его 16-летнего сына и взял его с собой в поездку на кирпичный завод. Ехали на семиместных «паккардах», закупленных за границей в 1933 или 1934 году, с бронированными 10-сантиметровыми зелеными стеклами, со спецсигналом и двумя машинами охраны. По дороге встретился железнодорожный переезд с опущенным шлагбаумом. Один из охранников с красным флагом бросился останавливать подходивший к переезду поезд, другой поднял шлагбаум.
На завод уже были доставлены 5 автобусов охранников. Они стояли шеренгами. Бледный директор со своей свитой ждал министра. «Ты что трясешься заранее? — сказал ему Каганович. — Я же тебя не съем. Вот если найдем неполадки — будешь трястись».
Подросток Гвоздарев-младший 20 лет спустя случайно ехал с Кагановичем в лифте жилого дома. «А я вас знаю, — сказал тогда пенсионер Каганович, — вы ездили со мной на кирпичный завод». Чтобы узнать в человеке средних лет однажды виденного юношу, надо обладать очень цепкой памятью на лица.
