Не прошло и года, как весной 1920-го Бабель оставляет молодую жену, берет себе русское имя Кирилл Васильевич Лютов, становится военным корреспондентом, прикомандированным к Первой Конной армии Буденного, и оказывается на польском фронте. Период с мая по сентябрь 1920 года Бабель проводит в красной кавалерии. Красная армия оказалась на подступах к Варшаве в августе 1920 года, но вскоре была отброшена, а к сентябрю разгромлена войсками Пилсудского при поддержке западных держав. В октябре было подписано перемирие, а 18 марта 1921 года — Рижский мирный договор, установивший российско-польскую границу и передавший Польше часть Украины и Беларуси. В Конармии Бабель, подписываясь «К. Л.» или «К. Лютов», публикует в газете «Красный кавалерист» четыре материала (возможно, он написал больше, однако другие тексты не обнаружены). Вернулся Бабель с фронта измученным, больным, завшивленным и истерзанным. Они с женой отправляются в Грузию (Абхазия и Аджария входили в состав Грузии), где Бабель пишет в местную газету «Заря Востока».
После смерти Ленина 21 января 1924 года Иосиф Сталин, с 1922 года генеральный секретарь ЦК ВКП(б), разворачивает борьбу за тотальный контроль над Советским Союзом. С 1921 по 1924 год Бабель пишет и публикует рассказы о Бене Крике («Одесские рассказы»), а также работает над циклом «Конармия», и с их публикацией в авангардном журнале «ЛЕФ» и журнале «Красная новь» слава писателя неуклонно растет. Как уже говорилось выше, в 1924-м Буденный впервые раскритиковал рассказы «Конармии», пытаясь дискредитировать эти воспоминания о катастрофическом поражении и отступлении красной кавалерии, а также набирающего силу писателя, чья популярность не давала аудитории забыть об этой неудаче.
Кроме того, в 1924 году сестра Бабеля Мириам (Мария, Мери) Шапошникова уехала в Брюссель. В 1925-м Бабель опубликовал первые два «детских» рассказа (цикл «История моей голубятни»); у него начался роман с Тамарой Кашириной (позднее — женой Всеволода Иванова), что, скорей всего, и побудило его жену Евгению эмигрировать. В 1926 году мать Бабеля уехала к дочери в Брюссель. В своих воспоминаниях дочь писателя Натали Бабель пишет: «Моя мать не скрывала причин своего переселения во Францию: она ненавидела советский режим и боялась его… но лишь многие годы спустя, уже умирая от рака, она призналась мне, отчего на самом деле не вернулась в Москву к мужу: „Ты должна знать: у тебя есть сводный брат. Я уехала из России в основном потому, что твой отец завел роман с актрисой, красавицей, которая родила ему сына“».
С выходом книги «Конармия» слава Бабеля возросла. Его письма к семье после 1925 года полнятся тревогой о здоровье, жалобами на безденежье, еврейскими мотивами и тоской по родным. «[В этот период] Бабель боялся за себя, — писала впоследствии его дочь, — лишь потому, что опасался, как бы его финансовое положение не отразилось на его работе. Его жизнь строилась вокруг сочинительства — он без преувеличения всем пожертвовал ради искусства, в том числе личными отношениями, семьей, свободой, даже жизнью».
Однако из переписки Бабеля следует, что беспокоило его не только творчество. Со смертью Максима Горького в 1936 году Бабель лишился наставника и могущественного защитника. Натали потом напишет, что Бабель жил в «полнейшей секретности и молчании. Лишь немногие знали об ужасных его тревогах, о его неколебимой уверенности в том, что однажды его уничтожат, как и прочих… Он отказывался писать по заветам партии и погрузился в молчание, несмотря на крупное вознаграждение, обещанное ему в случае публикации. На это он отвечал: „В дворце не творится“».
В одном из первых писем к сестре (12 мая 1925 года) Бабель пишет: «Душевное состояние оставляет желать лучшего — меня, как и всех людей моей профессии, угнетают специфические условия работы в Москве, то есть кипение в гнусной, профессиональной среде, лишенной искусства и свободы творчества, теперь, когда я хожу в генералах, это чувствуется сильнее, чем раньше…» Бабель, сознававший, что его письма подлежат перлюстрации, со временем стал осторожнее, но в данном случае оценивает ситуацию правдоподобно. Его по-прежнему ничто не беспокоит, кроме качества создаваемых им текстов.
Шестнадцатого ноября 1925 года он пишет: «Пока придерживаю „Конармию“, не согласен с некоторыми сокращениями [цензоров]». Первого января 1926 года он уговаривает сестру и зятя вернуться в Россию: «А что до духовной жизни в России и научных всяких перспектив, не мне вам рассказывать, они тут побогаче, и будущее у них пообширнее, чем на Западе». Для надзора ли он это писал или еще верил, что революция и коммунизм — благо человечества? Спустя месяц, 8 февраля 1926 года, Бабель формулирует: «Пока вы с мамой не осядете, мне отсюда не уехать. А я должен уехать. С каждым днем в Москве жить все труднее, а работать неплодотворнее, и, если тут остаться, будет только материальная и духовная нищета». Следует отметить, что Бабель говорит не о политическом гнете — лишь о недостатке творческой продуктивности.
