В 1811 году Оленин был назначен директором Публичной библиотеки, а в апреле 1817 года — президентом Академии художеств при сохранении других многочисленных должностей. На этом посту он поправил расстроенные финансы заведения, достроил его здание, но больше всего налегал на утверждении в Академии духа слепого повиновения властям предержащим. Алексей Николаевич и здесь умел пустить пыль в глаза своим мнимым демократизмом, в частности, изволил трапезничать вместе с учениками. Но одновременно не без его участия был отстранен от должности и отправлен в ссылку конференц-секретарь Академии А. Ф. Лабзин, который осмелился возразить против избрания почетным членом Академии всесильного князя В. П. Кочубея как «человека надутого и ничего не значущего». Когда же Лабзину разъяснили, что Кочубея надо избрать на том основании, что он близкое к императору лицо, прямодушный конференц-секретарь предложил заодно удостоить такой чести и государева кучера Илью Байкова, поелику уж ближе, чем он, к царю никто не сидит.
А. Н. Оленин стал неукоснительно проводить в жизнь пункт устава Академии, согласно которому в нее запрещалось принимать крепостных. В отличие от П. А. Вяземского и даже графа М. С. Воронцова, будущего новороссийского генерал-губернатора, которые в это время еще верили в благие намерения Александра I и готовили для него проект освобождения крестьян, проницательный и хитрый царедворец Оленин вовремя сменил вывеску и открыто декларировал крепостнические убеждения. При этом он заходил так далеко, что бил реакционностью своих взглядов даже самого Аракчеева…
Дело в том, что нововведения Оленина показались странными Аракчееву, не понимавшему, почему это он не может выучить в Академии своего крепостного на художника или архитектора и использовать его потом, как ему заблагорассудится. В ответе временщику Алексей Николаевич доказывал, как пагубно, с его, просвещенной, точки зрения, смешение свободных учеников Академии «с крепостными людьми, принадлежащими к холопскому званию, столь уничижительному не токмо у нас, но и во всех землях света». Почему же пагубно? Да потому, оказывается, что «истинным, обществу полезным художником, — распространялся новоиспеченный президент Академии художеств (письмо Аракчееву датировано 31 декабря 1817 года), — без доброго поведения, благородного любочестия и некоторой возвышенности духа быть никак не можно. Сообщение же, а кольми паче сожительство с порочными людьми, особливо в самых молодых летах, совершенно подавляют все способности к художествам. По несчастию, — разъяснял Алексей Николаевич Аракчееву, — гнусные самые пороки вообще принадлежат холопскому, или рабскому, состоянию, в котором они получаются, так сказать, в наследство, а потому тесное сообщение сего рода людей и равенство оных в воспитании с юношами свободного состояния более приносят общего вреда, нежели пользы».
Перед такой железной аргументацией закоренелого крепостника, прятавшегося под личиной «просвещенного вельможи», спасовал даже Аракчеев, заявивший Оленину: «…Буди ваша воля, вы, филозофы нынешнего века, лутче знаете нас, псалтырников…»
Для полноты портрета А. Н. Оленина следует, забегая вперед, напомнить о его отношениях с А. С. Пушкиным. Поэт, как известно, был влюблен в дочь Оленина Анету, посвятил ей несколько прекрасных стихотворений. Самой Анете крайне льстило ухаживание Пушкина, первого поэта России. В своих воспоминаниях, говоря о себе в третьем лице, Анна Алексеевна рассказывала о Пушкине, что «знала его, когда была еще ребенком». С тех пор, продолжала Анета, она с восторгом восхищалась его увлекательной поэзией. Но когда поэт, которого Анета называет «самым интересным человеком своего времени», попросил ее руки, президент Академии художеств, действительный тайный советник, член Государственного совета, Председательствующий в департаменте гражданских и духовных дел, член Главного управления цензуры и прочая, и прочая, и прочая, наотрез отказал, считая для дочери брак с гениальным русским поэтом оскорбительным мезальянсом. Алексей Николаевич, которого Пушкин позднее называл «пролаз» и «нулек на ножках», собирая в своем салоне писателей и художников, в глубине души больше всего на свете ценил не таланты, а чины…
Художники его единодушно ненавидели. Да и как было не ненавидеть человека, который с таким слепым упорством проводил принципы сословности художественного образования и, как подчеркивает историк Академии, «особенно… заботился о нравственном воспитании детей и строго следил за точным исполнением религиозных обрядов, а чтение Библии сделал обязательным». Человека, который, к ужасу художников, ввел в Академии вахтпарады. Человека, заслугой которого, по словам его биографа, было то, что он установил «более строгий надзор и наблюдение» за пенсионерами Академии, отправляемыми за границу…
