В 1838–1840 годы Лермонтов живет в Петербурге, служит в Лейб-гусарском полку и ведет довольно бурную светскую и литературную жизнь. Он много печатается и под конец выпускает сборник стихотворений. Он входит в загадочный «кружок шестнадцати», в котором велись как будто и политические разговоры. Почему-то он спокойно позволяет Варваре Лопухиной (женщине, которая была главной любовью его жизни) выйти замуж за другого человека; при этом он заводит светские интрижки, одна из которых (с княгиней Щербатовой) закончилась 18 февраля 1840 года дуэлью (сперва на шпагах, затем на пистолетах – с бескровным финалом) с бароном Эрнестом де Барантом, сыном французского посла. В результате 11 марта Лермонтов был арестован, а 13 апреля вновь сослан на Кавказ – в Тенгинский пехотный полк.
В петербургские два года Лермонтов написал некоторое количество лирических шедевров. Многие из них связаны с Кавказом – «Казачья колыбельная песня», «Дары Терека», «Памяти А. И. Одоевского» (поэта-декабриста, с которым Лермонтов в 1837 году на Кавказе познакомился и который спустя два года умер от малярии). Но главное, что создал в эти годы Лермонтов-поэт, – поэмы «Демон» и «Мцыри». Впрочем, «Демон», как мы уже упоминали, – плод многолетней работы В 1838 году Лермонтов создает шестую редакцию поэмы, которую считает уже окончательной. От ранних редакций в ней остался сюжет и отдельные строки. Действие из какого-то абстрактного пространства перенесено в Грузию. Но уже поставив точку, Лермонтов продолжает дописывать и переписывать поэму. В начале 1839 года он получает предложение прочитать «Демона» императрице и великой княгине Марии Николаевне (впоследствии копия поэмы была изготовлена и для цесаревича, будущего Александра II), и это становится толчком к последней переработке поэмы. Правда, цензурным разрешением на публикацию поэт не воспользовался, видимо, собираясь и дальше совершенствовать текст (а потом оно было отозвано до 1860 года). Только в последнем варианте любовь темного духа-изгнанника к смертной девушке получает объяснение. Тамара принадлежит к особым, избранным людям.
Попытка Демона, овладев душой Тамары, обрести мир и преодолеть свое одиночество обречена – ибо все его желания в конечном счете эгоистичны, это желания обладания и власти (так же, как в «Маскараде», страстная и властная любовь к Нине не может вернуть на путь «добродетели» игрока Арбенина – она лишь толкает его на преступление). Но одиночество мятежного духа мощно и величественно:
Если в «Демоне» главные мотивы – устремление прочь из мира, одиночество, разочарование, то поэма «Мцыри» (1839) пронизана неразделенной влюбленностью в земное бытие. Лермонтов использует и просодическое решение («английский» ямб с парной мужской рифмовкой), и отдельные строки и фрагменты из ранних поэм «Исповедь» и «Боярин Орша» – ко всему своему творчеству до 1836–37 годов он относится как к черновику, из которого не жаль черпать. Но сюжет нов и основан как будто на рассказе грузинского монаха (который в реальности выжил после побега и примирился со своею тюрьмой). Лермонтов преобразовал его – и получился рассказ о человеке, за три дня ощутившем все главное в жизни: слияние с природой, влюбленность, битву с врагом – и умирающем в итоге. Подлинная же цель – возвращение на родину – оказывается недостижимой.