Однако понятно, что решение финансовых проблем таким образом произвело громкий ропот в обществе. Резкий рост налогов вызвал недовольство крестьян и купечества. Дворянство, которому давно уже были подозрительны реформаторские планы Сперанского, негодовало в полный голос. Но особенно много врагов было у Сперанского среди высших сановников. Его огромное влияние, его близость к государю, его либеральные проекты вызывали-у них сильнейшую ненависть. Был пущен слух, что Сперанский — французский шпион. В то время когда война с Наполеоном была уже не за горами, когда начинало разворачиваться патриотическое движение, это обвинение было весьма опасным. Люди, близкие к Александру, сделали все возможное, чтобы поссорить его со Сперанским. Их старания не были тщетны. Мнительный и весьма чувствительный к обидам император в начале 1812 г. заметно охладел к Сперанскому и начал избегать его. Они встречались все реже и реже. О прежней близости уже не было и речи. А 17 марта неожиданно последовал указ о высылке Сперанского из столицы в Нижний Новгород, причем без всякого указания причины опалы. Сперанский даже не был отправлен в отставку.
В сентябре того же года Сперанского перевели в Пермь, где он и прожил до лета 1814 г. В конце августа был издан манифест «О всепрощении преступников». Среди лиц, получивших амнистию по этому указу, был также Сперанский. Он переехал в свое имение Великополье в Новгородской губернии, где в тиши и научных трудах провел еще два года. За время деревенского уединения он основательно изучил творения святых отцов, написал несколько рассуждений по богословским, философским, юридическим вопросам и перевел большую часть многотомного сочинения Фомы Кемпийского «О подражании Христу». Он занимался также самообразованием — выучил английский, немецкий и древнееврейский языки. Наконец «уединенная и спокойная» жизнь начала тяготить его. Сперанский стремился к государственной службе. В 1816 г. он обратился за содействием к Аракчееву. Всесильный фаворит согласился помочь, и в августе того же года императорским указом Сперанский был назначен Пензенским гражданским губернатором.
Пензенская губерния считалась в то время далекой и глухой провинцией.
Сперанского встретили здесь с сильным предубеждением. Он начал с того, что стал разъезжать по всем местным «знаменитостям», общаться с ними и своим тактом, открытостью расположил многих к себе. Сперанский «открыл свободный к себе доступ» с просьбами и жалобами и принимал посетителей «с утра до вечера». В короткий срок весь аппарат губернского управления был обновлен. Затем, объезжая один уезд за другим, Сперанский произвел ревизию уездной администрации и много сделал для наведения здесь порядка.
В марте 1819 г. Александр назначил Сперанского генерал-губернатором Сибири. Этот отдаленный российский край пребывал в то время в полной власти местной администрации, которая управляла им произвольно и бесконтрольно. Местные губернаторы были печально знамениты своей жестокостью и деспотизмом. Зная об этом, император поручил Сперанскому тщательно исследовать все беззакония и наделил его самыми широкими полномочиями;
Сперанский мог отстранять от должности любого начальника, мог придавать виновных суду и был ничем не ограничен в проведении нужных мер и реформ.
