В 1925 году по рекомендации Сталина Каганович был избран Генеральным секретарем ЦК КП (б) Украины. В республике национальная обстановка была очень сложной, особенно на западных территориях. Каганович проводил политику, направленную на уничтожение «украинизации» и «буржуазного и мелкобуржуазного национализма». Он так преуспел в своей деятельности, что довел ЦК КПЗУ до раскола и добился ареста некоторых руководителей. В этот период у него часто возникали конфликты с председателем Совнаркома Украины В. Я. Чубарем и наркомом просвещения республики А. Я. Шумским. Последний добился в 1926 году приема у Сталина и настаивал на отзыве Кагановича из Украины, а Чубарь, выступая на объединенном заседании Политбюро ЦК и Президиума ЦКК КП (б)У, охарактеризовал обстановку, созданную Кагановичем в партийном руководстве республики, как нарушившую взаимное доверие и контроль.
Сталину надоели постоянные жалобы украинских деятелей на Кагановича, и, чтобы не обострять обстановку, он отозвал Лазаря обратно в Москву. Тогда Сталин поступал еще так. А поскольку Каганович вполне устраивал своего высокого покровителя, он вскоре стал секретарем ЦК ВКП (б) и был избран членом Президиума ВЦСПС. А в начале 1930 года он становится первым секретарем Московского областного, а позже и городского комитета партии, а также полноправным членом Политбюро ЦК ВКП (б).
В годы коллективизации в те районы, где возникали наибольшие трудности, направлялся именно Каганович. Когда Сталин уезжал в отпуск к Черному морю, именно он оставался в столице в качестве временного главы партийного руководства. К 1935 году, после того как Каганович принял самое активное участие в реконструкции Москвы, строительстве Московского метрополитена (названного его именем), он взобрался уже на такую вершину своей популярности, с которой, по негласным законам того времени, должно было неизбежно начаться медленное или стремительное падение. На этом примере подтверждается предположение, что Сталин не терпел помощников, которые могли затмить его личную славу. В последний день зимы 1935 года произошла частичная «рокировка» должностей: нарком путей сообщения А.А. Андреев стал секретарем ЦК ВКП (б), а Каганович был поставлен на его место. Руководство Московской городской и областной партийной организацией Сталин передал Н. С. Хрущеву. И вовремя: в глазах народа Каганович тогда уже стал «ближайшим соратником» и «лучшим учеником» вождя. На первый взгляд назначение Кагановича на один из сложнейших хозяйственных участков, каким является железнодорожный транспорт в огромной стране, не выглядело как опала. Да и оно было преподнесено едва ли не как повышение: всюду подчеркивалось, что железнодорожникам оказана большая честь; на вокзалах были вывешены портреты нового наркомпути и без конца повторялось: «Под руководством тов. Л. М. Кагановича выведем транспорт на широкую дорогу побед».
В действительности новая должность никак не могла способствовать росту политической карьеры Кагановича. И уже не за горами было то время, когда он, оставаясь наркомом путей сообщения, навсегда уйдет во «вторую шеренгу». Как ни усердствовал Каганович в восхвалении вождя и в репрессиях, дистанция между ним и Сталиным все больше и больше увеличивалась. Сталин лично вникал во все вопросы и дела, в чем переплюнул даже Петра I и Екатерину II. Нет ни одной области производства, техники, науки и искусства, куда бы не дотянулась его железная рука. Это имело свои минусы. Положительное явление централизации власти и жесткой дисциплины в своем развитии перешло грань разумного и стало приобретать отрицательные черты. Судите сами. Важнейшие хозяйственные вопросы решались на заседаниях Оргбюро Центрального Комитета партии. С формальной точки зрения Оргбюро было так же важно, как и Политбюро. Первое должно было заниматься вопросами управления, а второе – политики. В Оргбюро входили пять секретарей ЦК, секретарь ЦК профсоюзов и секретарь ЦК комсомола. Присутствовал и представитель Красной Армии. К заседаниям «докладчики» готовились месяцами, так как очень боялись опростоволоситься перед вождем.
Его рабочий кабинет в Кремле – это просторная светлая комната, стены которой обшиты мореным дубом. Самая существенная часть здесь – длинный, покрытый зеленым сукном стол. В глубине у закрытого окна – рабочий стол самого Сталина. Но хозяин, обычно покуривая, прохаживается по кабинету медленно, широким шагом, чуть вразвалку. Когда трубка прогорала до конца, он направлялся к своему столу у зарытого окна. Медленно брал коробку папирос «Герцоговина флор», медленно разрывал несколько и, так же не спеша, набивал трубку табаком.