Долгорукова ездила за царём в Крым, где жила на частной даче близ дворца; они встречались в павильонах Петергофа, на прогулках в Павловске и Царском Селе и в уютном уголке на первом этаже Зимнего дворца. Императорская семья пыталась было требовать соблюдения приличий, но её влюблённый глава этого не потерпел. «Попрошу не забываться и помнить, что ты лишь первая из моих подданных!» — заявил он жене наследника. «Княжна Долгорукая, несмотря на свою молодость, предпочла отказаться от всех светских развлечений и удовольствий, имеющих обычно большую привлекательность для девушек её возраста, и посвятила всю свою жизнь любви и заботам обо мне. Она имеет полное право на мою любовь, уважение и благодарность», — писал он сестре Ольге, королеве Вюртембергской.
Государь пытался соединить высокое служение государству и право на частную жизнь. Но царская семья не признавала «авантюристку», а она, не привыкшая к «свету», вела себя неумело и напрасно пыталась расположить к себе и своим детям родню императора. К тому же ходили упорные слухи, что при её поддержке действовали лоббисты влиятельных магнатов, «проталкивая» концессии на строительство железных дорог. Сам Александр II мечтал о том, как, предоставив сыну Александру престол и труды о государстве, уедет вместе с любимой и детьми в Ниццу. Но эта мечта не осуществилась — не отпускали ни внутренние, ни внешнеполитические проблемы.
Кавказский наместник, друг государя Александр Барятинский обеспечил перелом в боевых действиях против Шамиля. Наряду с отличной разведкой и подкупом противника он широко применял рубку просек, открывавших войскам дорогу. Зимой 1856/57 года началось систематическое наступление на занятые Шамилем территории с разных направлений. Широкое использование артиллерии, команд охотников и местных милиционеров для прикрытия движения и работ свели потери к минимуму. 22 августа 1859 года Барятинский издал торжественный приказ: «Воины Кавказа! В день моего приезда в край я призывал вас к стяжанию великой славы государю, и вы исполнили надежду мою. В 3 года вы покорили Кавказ от моря Каспийского до Военно-Грузинской дороги. Да раздастся и пройдёт громкое моё спасибо по побеждённым горам Кавказа и да проникнет оно со всею силою душевного моего выражения до глубины сердец ваших!» Главное было в конце: «Шамиль взят — поздравляю Кавказскую армию!» Александр II встретился с бывшим неприятелем в Чугуеве, близ Харькова, где в честь пленника состоялся военный парад. В 1864 году на месте нынешней Красной Поляны в горах под Сочи завершилась Кавказская война.
В Средней Азии русские полки взяли Ташкент, Бухару и Хиву. Знаменитый путешественник Н. М. Пржевальский призывал к завоевательной войне с Китаем, так как «положение китайцев как в Монголии, так и, в особенности, в Восточном Туркестане весьма шаткое». Император предпочёл мир. Он собирал «у себя» Амурский комитет, контролируя переговорный процесс с Китаем; в итоге генерал-губернатор Восточной Сибири Н. Н. Муравьёв-Амурский заключил Айгунский договор (1858) о границе с Китаем по Амуру, а Пекинским договором (I860) за Россией закреплялся Уссурийский край. Но вопрос о Курильской гряде по Петербургскому договору (1875) был решён в пользу Японии — в обмен Россия получала японскую часть Сахалина.
Решение европейских дел взял на себя новый министр иностранных дел князь Александр Михайлович Горчаков. В его циркуляре русским послам от 21 августа 1856 года содержалось облетевшее весь мир выражение: «Говорят, Россия сердится. Россия не сердится, она собирается с силами». Таким образом, подчёркивались приоритет внутреннего развития страны и подчинение ему внешней политики. Провозглашались свобода в выборе союзников и пересмотр прежних договорённостей, если они мешали решению национальных задач.
Во время Польского восстания (1863—1864) государь чётко определил свою позицию в польском вопросе: подавление «бунтовщиков» военной силой и одновременное проведение аграрной реформы, наделявшей польских крестьян землёй за незначительный выкуп. Но о восстановлении самостоятельности Польши не могло быть и речи. «Я не могу переделать историю, — говорил Александр польскому графу Анджею Замой-скому. — Не я приобретал эти земли; я получил их в наследие с короной России и потому не имею права делать с ними что-либо в ущерб интересам империи». Все попытки вмешательства Великобритании, Франции и Австрии были пресечены. Зато в Финляндии император повелел в 1863 году созвать сейм, не собиравшийся почти пол века, и в речи на его открытии отметил, что «в руках народа мудрого, готового действовать заодно с государем своим в практическом смысле, для развития своего благосостояния, либеральные учреждения не только не опасны, но составляют залог порядка и благоденствия».
