Много лет спустя Горчаков рассказывал (цитируем по записи очевидца): «Приезжаю в Вену; получаю весьма скоро аудиенцию у Франца-Иосифа... Три часа продолжался наш разговор, но я ясно видел, что его правительство было всецело на стороне врагов России и только он лично ещё колеблется. Несколько раз я вставал с готовностью прервать нашу беседу и удалиться. Всякий раз император австрийский удерживал меня в своём кабинете. Вдруг меня осенила мысль наклонить колебания императора в нашу сторону.
— Государь, — сказал я, — я в полнейшем восторге от вашего приёма и вашего внимания ко мне, и как жаль, что не далее как через два дня я должен буду вас покинуть и возвратиться в отечество.
— Как так? — внезапно встревожился мой августейший собеседник.
— Да, ваше величество, — выдумал я весьма смело. — Я имею положительное приказание не медлить ни единого часа, коль скоро хотя бы один солдат вашего величества перейдёт границу и вступит в княжество Молдавии и Валахии...
Франц-Иосиф глубоко задумался и смущённо долго ходил по кабинету. Наконец подошёл ко мне, положил обе руки на плечи и сказал: «Князь Горчаков! Прежде, чем он доедет до дому, генерал К. получит моё повеление не переходить границу».
Император австрийский исполнил это. Войска его уже гораздо позже заняли княжества. Император Николай Павлович был в высшей степени доволен услугою отечеству и ему, мною оказанной, тогда же повелел прислать мне ленту и звезду Александра Невского. Но Нессельроде не исполнил высочайшего повеления, и я получил этот орден только семь месяцев спустя».
Конечно, позднейший рассказ — не протокол и не может быть безусловно точен, но отсюда видно, в сколь тяжёлых условиях, приходилось действовать Горчакову. Помощи из Петербурга ждать ему не приходилось, скорее наоборот. В июле 1854 года союзники предложили Николаю I заключить перемирие и начать переговоры при условии принятия Россией следующих «четырёх пунктов»: отмена русского протектората над Дунайскими княжествами; отказ от исключительного покровительства живущим в Турции христианам; свободное плавание по Дунаю судов всех великих держав; пересмотр режима черноморских проливов. В это же время Горчаков узнал о секретных переговорах между Францией и Австрией. Правильно учитывая тяжело складывающуюся для России обстановку, Горчаков советовал Николаю I принять «четыре пункта». Однако к этому разумному предложению в Петербурге не прислушались. В августе Горчаков получил от Нессельроде официальный ответ, где заявлялось о категорическом отказе от принятия «четырёх пунктов». Скрепя сердце, он должен был это исполнить.
И вот 2 сентября 1854 года большая англо-французская армия высадилась в Крыму около Евпатории и повела наступление на Севастополь. Началась героическая оборона города. Тяжёлое положение русских войск в Крыму придало храбрости австрийским дипломатам. Горчаков сообщал в Петербург 7 октября: «Я держусь самого дурного мнения о намерениях венского кабинета относительно нас». Усилилось и давление на австрийское правительство со стороны западных держав. «Если союзники будут иметь решительный успех в Крыму, — писал Горчаков, — Австрия сделает всё, чего они от неё ни потребуют». Так оно и было.
Николай I и Нессельроде согласились на условия «четырёх пунктов», но было уже поздно. Когда Горчаков сообщил об этом Буолю, тот недвусмысленно дал понять, что теперь обстановка изменилась и соответственно изменились условия союзников. А через несколько дней, в начале декабря 1854 года, в Вене был подписан договор о союзе Австрии с западными державами. Не решаясь всё объявить войну России, австрийское правительство предложило начать в Вене совещание воюющих сторон на уровне послов, в котором, разумеется, должен был участвовать и представитель Австрии. Австрийские политики надеялись без единого выстрела получить новые приращения к «лоскутной монархии», другого пути у них не было.
Заседание с участием Горчакова, Буоля, английского и французского послов состоялось только 28 декабря. Союзники не спешили с началом переговоров, пока их войска не добились решающей победы в Крыму. В Вене они стремились лишь прощупать, насколько велика уступчивость России. От твёрдого поведения Горчакова зависело многое. Уже на первом заседании стало ясно, что представители западных держав намерены предъявить России гораздо большие требования, чем те, что содержались в «четырёх пунктах». Горчаков уступал в мелочах, но решительно отказывался от каких бы то ни было ограничений суверенных прав России. Это касалось прежде всего так называемой «нейтрализации» Чёрного моря, о которой заговорили представители Англии и Франции.
На переговорах Горчаков держался подчёркнуто гордо и даже вызывающе, показывая тем самым, что военные неудачи не меняют положения России как великой державы. Позже он вспоминал о той труднейшей для него поре: