Вскоре стало ясно, что от пребывания Кагановича на Украине нет никакой пользы. Он слишком мало уделял внимания сельскому хозяйству, а вместо этого занялся привычным для него еще с середины 20-х годов делом — борьбой с «национализмом». Да и Хрущев имел здесь гораздо большее влияние. Поэтому в конце 1947 года Лазарь Каганович был возвращен в Москву, где возобновил свою работу в Совете Министров СССР.
Положение нашего героя становилось все более трудным. Вождь все реже и реже встречался со своим бывшим фаворитом. Как и в случае с Молотовым, он перестал приглашать Железного наркома на свои вечерние загородные трапезы и этим жестом отстранил его от решения важных государственных дел. После XIX съезда КПСС Каганович был избран в состав расширенного Президиума ЦК и даже в Бюро ЦК, но не вошел в отобранную лично диктатором «пятерку» наиболее доверенных руководителей партии.
После смерти Сталина влияние его опальных приближенных на некоторое время вновь возросло. Как один из первых заместителей Председателя Совмина СССР, Каганович контролировал несколько важных министерств. Но над ним уже довлело позорное клеймо сталинского палача. В стране начиналась реабилитация политических жертв. В Москву стали возвращаться люди, которые знали о том, какую роль в их трагической судьбе сыграл Железный нарком.
Следует заметить, что Лазарь Каганович, как и многие из его соратников, не считал себя виновным в убийствах ни в чем не повинных людей. Он решительно выступал против того, чтобы Хрущев доложил делегатам XX съезда о преступлениях Сталина. Когда было предложено дать слово нескольким вернувшимся из лагерей старым большевикам, он воскликнул: «И эти бывшие каторжники будут нас судить?»
Само собой разумеется, что Каганович не мог стать доверенным лицом Хрущева, когда тот принял бразды правления в Советском Союзе. «Демократические» реформы нового руководителя шли вразрез с тоталитарным мировоззрением представителей сталинской клики, по иронии судьбы еще оказывавших влияние на положение дел в стране. В предыдущем разделе было рассказано о попытке отстранить Хрущева от руководства партией и государством. Лазарь Каганович тогда поддержал Молотова, но, как показали дальнейшие события, просчитался. После июньского Пленума 1957 года его охватил настоящий страх за свою будущность. Он опасался ареста, боялся, что его постигнет судьба Берии. Ведь на совести Железного наркома было не меньше преступлений, чем на совести Берии. В панике Каганович позвонил Хрущеву и униженно просил его не поступать с ним слишком жестоко. Он ссылался на прежнюю дружбу с ним, напоминал, что именно благодаря ему Хрущев начал свое успешное восхождение. Тот, в свою очередь, пообещал, что никаких репрессий не будет, если все члены антипартийной группы прекратят борьбу против линии партии и станут добросовестно трудиться на вверенных им участках.
Никита Хрущев отчасти выполнил свое обещание. Вскоре Каганович был направлен в Свердловскую область управляющим трестом Союзасбест. Он проработал там до 1959 года. Коллеги по Асбесту утверждали, что на своем последнем руководящем посту бывший сталинский палач проявил себя весьма либеральным начальником.
Как уже отмечалось в предыдущем разделе, на XXII съезде КПСС, в октябре 1961 года, делегаты потребовали исключения из партии многих сталинских приближенных. В их числе оказался и Лазарь Каганович. Он был исключен 23 мая 1962 года, на заседании бюро МГК КПСС. Каганович уже приближался к своему 70-летнему рубежу, и поэтому никаких назначений не последовало и он был отправлен на пенсию. Ему была назначена обычная гражданская пенсия в 115 рублей в месяц. Но средств на жизнь бывшему фавориту Сталина было явно предостаточно.
Стоит ли говорить, что до последнего момента Каганович ощущал горький привкус разочарований от несправедливости жизни? Он считал, что не заслуживает подобного забвения — ведь раньше он был весьма влиятельным человеком в Советском Союзе и его именем каждый день пестрели газетные заголовки. Теперь же его узнавали на улицах Москвы и в других местах разве что с тем, чтобы публично оскорбить или обозвать сталинским палачом. Остальные его заслуги перед родиной память соотечественников не сохранила.
В своей книге «Они окружали Сталина» Рой Медведев описывает курьезные случаи, происходившие в последние годы жизни этого ближайшего помощника Сталина. Приведу любопытные выдержки из его повествования.
«Каганович часто работал… в газетном зале Ленинской библиотеки. Мимо него в эти дни проходило множество посетителей, некоторые просто из любопытства, но он не обращал на них особого внимания.