Малого роста, невзрачный с виду, Оленин обладал недюжинным умом, весьма обширными познаниями в науках и был предан русскому искусству как своему кровному делу. Десяти лет от роду его отправили на воспитание к родственнице — Е. Р. Дашковой, той самой, которая много лет возглавляла Петербургскую Академию наук, а также литературную Российскую академию, созданную по ее замыслу. Воспитанника Дашковой приметила Екатерина II и приказала записать его в Пажеский корпус. Затем он изучал науки в Страсбурге и артиллерийское дело в Дрездене. Из военной службы он позднее перешел в штатскую и в ней преуспел.
Будучи за границей, Оленин прочитал знаменитую «Историю искусств древности» Винкельмана и с той поры увлекся историей и археологией. За труд, посвященный «толкованию многих русских старинных речений», его удостоили избрания в Российскую академию.
В 1810-х годах Оленин жил в собственном доме на правом берегу Фонтанки между Семеновским и Обуховским мостами. Этот трехэтажный особняк он получил в приданое за женой Елизаветой Марковной, урожденной Полторацкой.
В гостеприимном доме Олениных собирались писатели, художники, артисты. «Предметы литературы и искусства занимали и оживляли разговор… Сюда обыкновенно привозились все литературные новости, вновь появлявшиеся стихотворения, известия о театрах, книгах, картинах», — рассказывал посетитель салона.
Завсегдатаями оленинского кружка были И. А. Крылов и переводчик «Илиады» Н. И. Гнедич. Здесь бывали К. Н. Батюшков и В. А. Жуковский, художник О. А. Кипренский, прославленная актриса Е. С. Семенова и знаменитый актер И. И. Сосницкий.
Здесь любил бывать и юный Пушкин.
В отличие от других петербургских гостиных у Олениных не в чести были карты. Им предпочитали другие игры — особенно шарады, фанты. В играх участвовали и знаменитые гости. «Не помню, за какой-то фант Крылова заставили прочитать одну из его басен. Он сел на стул посередине залы, мы все столпились вокруг него, — рассказывала А. П. Керн, племянница Е. М. Олениной, — и я никогда не забуду, как он был хорош, читая своего Осла! И теперь еще мне слышится его голос и видится его разумное лицо и комическое выражение, с которым он произнес: „Осел был самых честных правил“».
В 1819 году у Олениных Пушкин впервые увидел А. П. Керн:
В 1820-х годах Оленины поселились на набережной Мойки, возле Синего моста.
Младшая дочь Олениных — Анна Алексеевна — задумала писать роман с реальными персонажами, теми, что окружали ее в родительском доме. В июле 1828 года она занесла в дневник: «Пушкин и Киселев — два героя моего настоящего романа. Сергей Голицын (Фирс), Глинка, Грибоедов и в особенности Вяземский — персонажи более или менее интересные». Роман не состоялся, а дневник А. А. Оленина вела исправно. «Стали приезжать гости. Приехал милый Сергей Голицын (Фирс), Крылов, Гнедич, Зубова, Михаил Глинка… Приехал по обыкновению Пушкин».
После возвращения из ссылки, наезжая в Петербург, Пушкин постоянно бывал у Олениных. Особенно привлекала его Анна Алексеевна. Покидая Петербург в 1820 году, он оставил ее ребенком. Теперь это была прелестная девушка — живая, остроумная, прекрасно образованная. Пушкин увлекся ею и даже решил жениться. Он сделал предложение, но ему отказали. Олениных не устраивала его репутация, его неблагонадежность. К тому же Анна Алексеевна не была увлечена им всерьез.
Пушкин, обидевшись, перестал посылать в Императорскую Публичную библиотеку «обязательные экземпляры» тех своих книг, которых сам был издателем. Не помогали и официальные запросы Оленина по этому поводу.
А в русской поэзии неизгладимым следом безответной любви остался ряд пушкинских стихотворений, посвященных Олениной.
