Эйфория «эмансипации», надежды на быстрое преодоление хозяйственной и культурной отсталости прошли; реализация реформ приносила разочарование — ломка традиционного уклада жизни была болезненной для всех слоёв общества. С одной стороны, дворянство в своих собраниях и земствах выступало с критикой правительственного курса. С другой стороны, появились молодые радикалы-«нигилисты», отрицавшие образ жизни предшествовавшего поколения: «Наши отцы были стяжателями, ворами, тиранами и эксплуататорами крестьян». Студенты, гимназисты, семинаристы, стриженые барышни-курсистки активно протестовали против светских манер и приличий, бесправия, казённой системы преподавания. Эти горячие головы требовали всего и сразу. Рядом с идейными противниками режима появились эмансипированные карикатуры. В Третье отделение поступило донесение: «Приказчик из магазина Исакова надул при публике “гондон”, а полиции заявил, что его мать — нянька у великого князя Николая Николаевича... о том, как с ним поступила полиция, [он] сообщит Герцену для напечатания в “Колоколе”».
К политическим сложностям добавилась трагедия в царской семье: в апреле 1865 года на 22-м году жизни скончался наследник Николай Александрович.
Спустя год студент Дмитрий Каракозов в Летнем саду выстрелил в гуляющего царя. Неудавшееся покушение вызвало волну арестов и подъём верноподданнических чувств. Оказавшийся рядом с Каракозовым и якобы помешавший ему прицелиться костромской крестьянин Осип Комиссаров стал спасителем Отечества и настоящей «звездой»; его произвели в дворяне с фамилией Комиссаров-Костромской, подарили квартиру на Невском проспекте, срочно обучили манерам для присутствия на светских мероприятиях, осыпали ценными подарками, в родном селе ему поставили памятник, а снимки героя шли нарасхват — к фотографам записывались в очередь... Тогда же в России впервые появились телохранители «первого лица» — «охранная стража его императорского величества». Сам же Александр II, «царь-освободитель», был поражён тому, что стрелял в него русский дворянин. С тех пор окружающие часто слышали от него сетования на людскую неблагодарность.
Начавшиеся репрессии увеличивали число недовольных и служили аргументом для тех, кто не желал продолжения реформ. Начальником Третьего отделения стал граф П. А. Шувалов, министром народного просвещения — обер-прокурор Синода граф Д. А. Толстой; оба — противники преобразований. Хотя создание земств и городских дум, легальных общественных организаций, относительная свобода прессы, увеличение числа интеллигенции свидетельствовали о формировании в стране гражданского общества, Александр II, много сделавший для того, чтобы оно появилось, в то же время не считал возможным привлечь его к управлению государством. Радикального пересмотра внутриполитического курса не произошло.
Император как будто разочаровался и в людях, и в реформах. Исчезла его прежняя напористость. Он стал терять интерес и к мнению общественности о правительственных мерах, и к самим решительно начатым преобразованиям, занимался делами без вдохновения, по обязанности.
Он вставал в восемь часов утра, одевался и совершал прогулку вокруг Зимнего дворца. Вернувшись, пил кофе, затем шёл в кабинет и работал с горой бумаг — в системе централизованной самодержавной монархии даже многие пустяковые вопросы решались «наверху». В 11 часов с докладами являлись министры: военный — каждый день, иностранных дел — дважды в неделю, председатель Государственного совета — раз в неделю, прочие министры — по мере надобности и с позволения императора. По четвергам государь в час дня ехал в Совет министров, а в другие дни недели — на развод гвардейских частей, после чего делал визиты членам своей фамилии, прогуливался в экипаже или пешком и возвращался в Зимний дворец к бумагам. С 16.30 до 19 часов следовали обед и отдых, чай в кругу семьи, а в восемь вечера император снова садился задела. Завершали день игра в карты или посещение театра, после которого царь мог засиживаться в кабинете до часа ночи. Он с удовольствием вырывался на охоту, полюбил южный берег Крыма — Ливадию.
Днём или ближе к ночи он выкраивал час-другой, чтобы побыть со второй семьёй. Императрица Мария Александровна с годами всё чаще болела, и их отношения становились дежурной процедурой: обсуждение здоровья, учёбы детей, дел родственников в России и Европе, совместное участие в парадах и церемониях, визиты или выезд в театр, чай в обществе детей. Один из хорошо осведомлённых современников как-то сказал, что царь «был женолюбом, а не юбочником», имея в виду, что он хотел не развлечения, а глубокого чувства и счастья простого смертного в приватной обстановке.