С конца 1926 года, после смерти Дзержинского, ОГПУ, управляемое отныне правой рукой основателя ЧК Вячеславом Рудольфовичем Менжинским (как и Дзержинский, поляком по происхождению), снова понадобилось Сталину, готовившему политическое наступление против Троцкого и Бухарина. В январе 1927 года ОГПУ получило приказ усилить работу по учету «социально опасных и антисоветских элементов» на селе. За год число учтенных увеличилось с 30 000 до примерно 72 000. В сентябре 1927 года ОГПУ начало многочисленные кампании по аресту кулаков и других «социально опасных и антисоветских элементов» сразу во многих областях. Впоследствии эти операции будут рассматриваться как подготовительные к большим «чисткам» периода «борьбы с кулачеством» зимой 1929–1930 годов.
В 1926–1927 годах ОГПУ проявило также большую активность в преследовании оппозиционеров, одни из которых были «зиновьевцами», другие — «троцкистами». Практика учета и преследования членов коммунистической оппозиции началась очень рано, еще в 1921–1922 годах. Летом 1923 года Дзержинский предложил коммунистам для «идеологического сплочения партии» передавать органам ОГПУ всю информацию о существовании фракций или уклонов внутри партии. Это предложение вызвало возмущение некоторых партийных руководителей, в частности — Троцкого. Тем не менее опыт слежки за оппозиционерами в последующие годы стал всеобщим. Чистка возглавляемой Зиновьевым партийной организации Ленинграда в январе — феврале 1926 года была вменена в обязанность службам ОГПУ. Оппозиционеры не только были исключены из партии; сотнями они были высланы в удаленные города страны, где оставались без средств к существованию, так как никто не осмеливался взять их на работу. В 1927 году началась охота на троцкистскую оппозицию — троцкистов оставалось в стране несколько тысяч, — и для этого также был мобилизован ряд служб ОГПУ.
Все троцкисты были взяты на учет, сотни активных троцкистов — арестованы и высланы. В декабре 1927 года все основные руководители оппозиции — Троцкий, Зиновьев, Каменев, Радек, Раковский — были исключены из партии, а затем арестованы. Все оппозиционеры, отказавшиеся от публичных саморазоблачений, были высланы. 19 января 1928 года «Правда» объявила об отъезде из Москвы Троцкого и группы из тридцати оппозиционеров, сосланных в Алма-Ату. Год спустя Троцкий был выслан из СССР. С момента превращения одного из главных вдохновителей большевистского террора в контрреволюционера начался новый этап в жизни страны под руководством Сталина.
В начале 1928 года, сразу после удаления троцкистской оппозиции, сталинское большинство в Политбюро приняло решение закончить временную передышку в обществе, которое, как им казалось, уходило все дальше от намеченного большевиками пути. Главным врагом оставалось, как и десять лет назад, крестьянское большинство, которое воспринималось как громадная, враждебная масса, не поддающаяся контролю. Так начался второй этап борьбы против крестьянства; как справедливо отмечает историк Андреа Грациози, «он весьма отличался от первого. Инициатива отныне была в руках государства, крестьяне же, постепенно ослабевая, могли лишь кое-как реагировать на атаки с его стороны».
Несмотря на то что концу 20-х годов сельское хозяйство заметно поднялось после катастрофы 1918–1922 годов, «крестьянский враг» все равно был слабее, а государство сильнее. Об этом свидетельствуют, например, подробные информационные сводки о том, что происходило в деревне, а также перепись «социально опасных элементов», позволившая ОГПУ успешно провести первые акции по раскулачиванию, искоренению «бандитизма», разоружению крестьян, увеличению процента военнообязанных среди них. Как свидетельствуют письма большевиков и стенограммы дискуссий в высших эшелонах партийной власти, сторонники Сталина, как, впрочем, и его противники — Бухарин, Рыков и Каменев, — прекрасно знали в 1928 году чего может стоить новое наступление против крестьянства. «Вы получите крестьянскую войну как в 1918–1919 годах», — предупреждал Бухарин. Сталин к этому был готов: он знал, что на этот раз власть выйдет победительницей, какой бы ни была цена победы.
Срыв плана хлебозаготовок в конце 1927 года дал Сталину искомый предлог. Ноябрь 1927 года был отмечен заметным падением поставок сельскохозяйственной продукции в государственные закрома, которое приняло катастрофические размеры в декабре. В январе 1928 года стало ясно, что, несмотря на хороший урожай, крестьяне обеспечили поставки только 4,8 миллиона тонн, вместо 6,8 миллионов тонн предыдущего года. Понижение цен на закупку сельскохозяйственной продукции, дороговизна и нищета, отсутствие промышленных товаров, дезорганизация закупочных органов, слухи о предстоящей войне — все это вызывало всеобщее недовольство крестьянства правящей властью и явилось причиной кризиса, который Сталин назвал «кулацкой забастовкой».
