Повседневная дипломатическая деятельность не прекращалась, разумеется, ни на минуту. После франко-прусской войны в Европе и в мире сложилась совершенно новая политическая обстановка. Германия и Италия стали едиными государствами. Многие мелкие «буферные» страны исчезли с европейской карты. Противоречия между великими державами континента обострились. Усилилась колониальная политика захватов в Азии, Африка, во всех частях света. Наступила эпоха империализма, хотя самого этого понятия тогдашний лексикон ещё не знал.
Само собой разумеется, что образование мощной Германской империи у западных границ России вызывало серьёзные опасения в Петербурге, и не без оснований. Воинственность этого «беспокойного соседа», как выражалась в ту пору русская печать, была очевидна. В этих условиях давнишние идеи Горчакова о создании союза между Россией и Францией приобрели новый смысл. Правительство Бисмарка после 1870 года всячески стремилось «законсервировать» ослабление Франции. Нов Петербурге теперь иначе смотрели на взаимоотношения с Парижем. Подводя политические итоги за 1872 год, Горчаков, имея в виду Францию, делал следующий вывод: «Для нас важно, чтобы она в целях равновесия вновь заняла своё законное место в Европе». Оценка оказалась верной.
Вот почему одним из важнейших направлений дипломатии Горчакова в Европе в тот период стало противодействие германским агрессивным устремлениям по отношению к Франции. Однако Третья республика была ещё слишком слаба для того, чтобы стать серьёзным союзником, и Горчаков это хорошо понимал. Заключив соглашение с Францией, Россия могла выиграть очень немного и вместе с тем получить опасного врага — Германию. В то же время продвижение России в глубь Средней Азии встречало сильное сопротивление со стороны Англии. Английские советники натравливали афганского эмира против России. Из Афганистана были изгнаны русские купцы. Афганские войска, вооружённые английским оружием, вторгались в Туркмению. В семидесятых годах англо-русские противоречия резко обострились, как никогда со времён Крымской войны.
Вся эта сложная международная обстановка вынуждала российское правительство сохранять хорошие отношения с Берлином. Это диктовалось и чисто экономическими причинами: на Германию приходилось около трети всего русского экспорта хлеба. Наконец, прогерманская партия пользовалась довольно сильным влиянием при царском дворе. Всё это не могло не сказаться на политике русского Министерства иностранных дел и его главы.
В августе 1872 года в Берлине состоялось обставленное с великой торжественностью свидание трёх императоров: германского, российского и австрийского. Тогда же происходили переговоры министров иностранных дел трёх держав. Горчаков и австро-венгерский министр Андраши договорились сохранять статус кво на Балканах. Бисмарк в своих интересах всячески поддерживал намерение Горчакова достичь соглашения с Австро-Венгрией. Так была заложена основа очень зыбкого и противоречивого объединения, известного как Союз трёх императоров.
Горчаков крайне сдержанно относился к русско-германскому и русско-австрийскому сближению, хотя оно имело немало сторонников среди царского окружения и встречало сочувствие Александра II. Опытный дипломат отчётливо видел растущую угрозу со стороны Германской империи. Он понимал, что могут означать для России слова Бисмарка о «традиционных дружеских отношениях»: «железный канцлер» пытался повести петербургский кабинет в русле своей политики, а политика эта была чревата опасными для нас последствиями (что и подтвердилось позже).
Со своей стороны Горчаков стремился использовать союз с Германией и Австро-Венгрией для противодействия наступлению Англии в Средней Азии и на Ближнем Востоке; сближение России с этими странами лишало Англию континентальных союзников, в случае если англо-русские трения перерастут в вооружённое столкновение. Бисмарк, поддерживая союз, рассчитывал тем самым добиться невмешательства России в подготовляемой им новой франко-германской войне. Таким образом, цели обеих держав, вступивших в союз, были весьма различны. Между Горчаковым и Бисмарком началась сложная дипломатическая борьба, которая осталась приметной вехой в истории мировой политики.
Постепенно нарастая, эта борьба проявилась уже в берлинских переговорах. «Железный канцлер» предпринял попытку использовать в своих целях встречу трёх императоров, изобразив свидание в Берлине как заговор против Франции. Однако Горчаков помешал планам Бисмарка. Тогда же он встретился с французским послом в Берлине Гонто-Бироном и ясно дал ему понять, что Россия не поддержит агрессивных намерений Германии. Касаясь реформы французской армии, которая приводила Бисмарка в неистовый гнев, Горчаков сказал: «Вы делаете то, что вы считаете нужным, и вы правы. Я вам говорил и повторяю: нам нужна сильная Франция».