Лобанов-Ростовский же стал послом в Австро-Венгрии. Хотя в Вене российского посла считали звездой первой величины в дипломатическом мире, а его послужной список в эти годы был отмечен единственной, но высшей наградой российской империи — орденом Св. Андрея Первозванного, новый царь не симпатизировал Лобанову-Ростовскому.
В австрийскую столицу Алексей Борисович перевез все свои обширные коллекции и библиотеку. Деятельность князя на поприще науки получила высокую оценку: его избрали почетным членом Императорской Академии наук и почетным членом Совета библиотек. Личная библиотека князя, насчитывавшая к концу жизни более 8 тысяч томов, поступила после его смерти в библиотеку Зимнего дворца. Лобанов-Ростовский полагал, что пребывание на посту посла в Австро-Венгрии будет продолжительным и чуть ли не последним в его жизни. Но в октябре 1894 года неожиданно умер Александр III.
В январе 1895 года Николай II подписал верительные грамоты Лобанову как послу в Берлине. Однако после того как посол в Лондоне Стасов отказался от поста министра иностранных дел, царь назначил на этот пост Лобанова-Ростовского, человека широко образованного, отлично владевшего языками и пером. Ламздорф подчеркивал уверенность и спокойствие Лобанова-Ростовского при обсуждении самых трудных вопросов, что вселило бодрость и стимулировало, «словно заражая или оказывая магнетическое влияние». Алексей Борисович был остроумным собеседником и всегда имел большой успех у женщин.
После захвата Ляодунского полуострова Японией и заключения Симоносекского договора Лобанов-Ростовский изложил свой взгляд на дальнейшую восточную проблему в двух записках царю от 6 апреля 1895 года. Лобанов-Ростовский склонялся к мысли о соглашении с Японией на основе компенсаций за счет Китая. На особом совещании победила точка зрения министра С.Ю. Витте: было решено потребовать от японцев очистить Маньчжурию, а в случае отказа подчиниться не останавливаться перед применением сил Эта политика, имевщая целями приобретение незамерзающего порта на Тихом океане и присоединение некоторой части Маньчжурии для удобного проведения Сибирской железной дороги, требовала, по мнению министра, крайней осторожности.
Лобанов-Ростовский запросил Париж о согласии совместно с российским и германским правительствами предпринять в Токио демарш — «дружески посоветовать» Японии отказаться от оккупации Ляодунского полуострова за соответствующую денежную компенсацию. «Дружеский совет» — должен был подкрепляться морской демонстрацией трех держав.
Лобанову-Ростовскому удалось убедить французского коллегу Г. Ане в том, что совместные действия Германии с Россией ничего не меняли в отношениях последней с Францией. Он добился согласованного дипломатического давления на Токио и настоял на отправке правительствами координирующих инструкций адмиралам — командирам кораблей трех держав на Тихом океане. Дипломатический демарш заставил Японию отступить. Лобанов-Ростовский весьма гордился крупным дипломатическим успехом достигнутым в начале деятельности.
Для выплаты контрибуции Японии Китай, потерпевший поражение войне 1894–1895 годов, нуждался во внешнем займе, из-за которого разгорелось острое соперничество великих держав. Лобанов-Ростовский утверждал, что главная задача России — «поставить Китай в известную зависимость от нас и не допустить Англию расширить там свое влияние». Постановка китайских финансов в зависимость от Англии и Германии грозила появлением на азиатской границе России «второго издания Египта или даже Турции».
Попытки Лондона и Берлина сорвать русско-французский заем не имела успеха благодаря Витте и Лобанову-Ростовскому, с которым первый согласовывал все дипломатические действия.
Со времени заключения русско-французского тайного союза в 1891году Париж неоднократно, но безуспешно добивался его оглашения. Весне 1895 года Лобанов-Ростовский в этом вопросе пошел Франции навстречу. После неудачной попытки договориться с Ротшильдом об организации займа Китаю Петербург в начале июня обратился к помощи правительства Франции. Выступая во французском парламенте, Г. Аното впервые сказал о «союзе» с Россией, что произвело огромное впечатление в Европе. После данного разъяснения китайский заем был легко размещен на парижском рынке.
Встревоженный Вильгельм II решил оказать прямое давление на Николая II. В письмах царю он советовал опасаться тесной дружбы с французской республикой. По приказу царя Лобанов-Ростовский 13 октября встретился в Берлине с кайзером. Но предложение Вильгельма II о воссоздании Союза трех императоров для того, чтобы объединенными усилиями полностью «раздавить Францию», встретило возражение министра. Лобанов-Ростовский разгадал замысел Вильгельма II: «Это все та же игра, чтобы привлечь Россию взывать к монархическим и консервативным принципам, манить Константинополем и обещать поддержку Германии во всех восточных делах. Мы уже не раз получали авансы такого рода, они повторились и в этот раз».