В 1933 году в СССР началась очередная чистка партии. Каганович стал председателем Центральной комиссии по проверке партийных рядов, а после XVII партсъезда и председателем Комиссии партийного контроля при ЦК ВКП(б). Именно он как председатель оргкомитета по проведению исторического XVII съезда организовал фальсификацию результатов тайного голосования в ЦК, уничтожив около 300 бюллетеней, в которых была вычеркнута фамилия Сталина. Это принесло Сталину убедительную победу над его оппонентами.
Будучи первым секретарем Московского городского комитета партии, Каганович внес ощутимую лепту в реконструкцию столицы. Здесь ему пришлось столкнуться с крупными проблемами. К 1930 году население Москвы выросло более чем на миллион человек. Жилищный вопрос был обострен до предела. К тому же трамвай не справлялся с перевозкой пассажиров, а автобусов насчитывалось всего около 200 и их маршруты соединяли город с пригородами. 90 % площади улиц составляли булыжные мостовые. Больше половины домов были одноэтажными. В некоторых частях города отсутствовали канализация и водопровод.
К многочисленным разрушениям исторических памятников в 20-х годах, когда сначала Лениным, а позже и Сталиным проводился «крестовый поход» на православную церковь, имел причастность и Каганович. Как человек необразованный и не разбиравшийся в вопросах культуры и искусства, этот сталинский помощник не мог способствовать прекращению безумной войны советской власти против русской культуры. Одна его фраза, в которой он подчеркивал малоценность старой Москвы, говорит о многом: «…пролетариату в наследство осталась весьма запутанная система лабиринтов, закоулков, тупичков, переулков старой купеческо-помещичьей Москвы… плохонькие, старенькие строения загромождают лучшие места нашего города».
Луначарский возражал против сноса древних Иверских ворот с часовней, располагавшихся при входе на Красную площадь у Исторического музея, и церкви на углу Никольской улицы. Его поддержали в этом многие ведущие архитекторы. Но Каганович безапелляционно заявил: «А моя эстетика требует, чтобы колонны демонстрантов шести районов Москвы одновременно вливались на Красную площадь».
Подобными принципами пролетарской эстетики и руководствовался Лазарь Каганович, проводя реконструкцию столицы. На улице Фрунзе была снесена церковь Знамения, впервые упоминавшаяся в 1600 году. 30 августа 1932 года была закрыта церковь Большого Вознесения, в которой за 100 лет перед этим венчался Пушкин. В Кремле завершился снос монастырей — Вознесенского и Чудова, относившихся к XIV веку, Николаевского дворца и старейшего в столице строения — церкви Спаса на Бору. Помимо того, на улице Фрунзе была также снесена церковь Николая Стрелецкого, построенная в XVII веке «по прошению стремянного полка стрельцов». Из 216 зданий, считавшихся в 1928 году архитектурными памятниками, в списке остались лишь 104, но и их дальнейшая судьба ставилась под сомнение. Почти все они по проекту главного столичного архитектора В. Н. Семенова попадали в зону реконструкции. Приступая к осуществлению этого проекта, Архитектурно-планировочное управление начало с того, что при строительстве Дома Совета Труда и Обороны в Охотном ряду снесло церковь Параскевы Пятницы. В разгар очень «тщательной» реставрации под руководством П. Д. Барановского снесли палаты В. Голицына, построенные в конце XVII века.
В декабре 1930 года по инициативе Кагановича и с одобрения Сталина была произведена административная реорганизация, после которой вместо 6 районов стало 10, было закрыто управление коммунального хозяйства и появились тресты при Моссовете: Трамвайный, Мосавтотранс, Гордоротдел и другие. В следующем году на Пленуме ЦК Каганович сделал доклад, решивший судьбу Москвы и советской архитектуры в целом. В нем говорилось о строительстве метро и о составлении Генерального плана реконструкции столицы, а также о канале «Москва — Волга». Утверждая, что законы роста городов для нас не писаны, Каганович применил термин «социалистический тип роста столицы». Было принято решение не строить в Москве и Ленинграде новых заводов, но оно осталось на бумаге. Что касается эстетической стороны дела, то Каганович заявил в своем докладе буквально следующее: «Точно так же мы должны поставить перед собой задачу наилучшей планировки города, выпрямления улиц, а также архитектурного оформления города, в целях придания ему должной красоты».