Осознав, наконец, что прошлого не вернешь, Григорий Орлов в 1775 году подал в отставку. Наступила эпоха нового фаворита Екатерины II, князя Потемкина. Орлов уехал за границу, долго путешествовал по Европе, поражая чужеземные столицы своим роскошным образом жизни и пугая карточных игроков огромными ставками. Он повстречался в Париже со своим давнишним корреспондентом – Дени Дидро, который сравнил Орлова с «котлом, который вечно кипит, но ничего не варит». Вернувшись через год в Петербург, он занял положение, напоминающее положение Разумовского в царствование императрицы Елизаветы при ее новом фаворите Шувалове. При дворе его называли просто «князь». С Екатериной II у него установились если не дружеские, то вполне приемлемые отношения. В ответ на подаренный ему Мраморный дворец Орлов преподнес царице на день именин алмаз «Надир-Шах», за который он уплатил 460 тысяч рублей. (Ныне этот знаменитый алмаз «Орлов», вделанный в скипетр русских царей, хранится в Алмазном фонде России.)
Императрица, несмотря на то, что у нее был новый фаворит, с теплотой вспоминала об Орлове. Вот что она писала в 1776 году: «Я всегда чувствовала большую склонность подчиняться влиянию лиц, знающих больше меня, лишь бы они не давали чувствовать, что они ищут этого влияния, иначе я убегала со всех ног прочь. Я не знаю никого, кто был бы так способен помочь проявиться этой склонности во мне, как князь Орлов. У него природный ум, идущий своим путем, и мой ум за ним следует».
В 1777 году князь женился на своей кузине, фрейлине императрицы Зиновьевой. Ему было в ту пору 43 года – мужчина в полном расцвете сил, а Зиновьевой 18 лет. Она к тому времени уже имела множество женихов, но кто сравнится с Орловым? Их любовь была взаимной. Молодая женщина писала своему брату Василию: «Я люблю его, как никого не любила и… очень счастлива». Екатерина II, окончательно избавившись от матримониальных притязаний Орлова, на радостях зачислила Зиновьеву в статс-дамы и подарила молодым на свадьбу массивный золотой сервиз. Медовый месяц они провели в Швейцарии, а потом вернулись в Петербург и вели тихую, ничем не примечательную жизнь. Князь Орлов редко появлялся при дворе; он смирил свою гордыню и буйный нрав.
В 1780 году князь и княгиня снова выехали за границу, так как молодая женщина недомогала и ей был показан теплый климат. У нее была какая-то легочная болезнь, и заграничные светила медицины, к которым обращался Орлов, не смогли спасти его жену. Княгиня Орлова умерла в Лозанне в 1782 году. Смерть жены сильно подействовала на Григория; кажется, он любил ее по-настоящему. Князь затосковал, заболел и стал проявлять признаки умственного расстройства. Спустя год он скончался на 49-м году жизни. Екатерина II писала по этому поводу: «Хотя я и была подготовлена к этому ужасному событию, но, не скрою… оно глубоко опечалило меня… я ужасно страдаю».
«Так проходит мирская слава», – говорили древние. Был неслыханный взлет Орлова, было и невиданное падение. На его смерть в столь молодом возрасте повлияли не только кончина жены, но и переживания, связанные с романом императрицы и внезапным разрывом с ней.
Порвав с Орловым, императрица решила поставить «производство» любовников-фаворитов на поток. Во дворце у нее и раньше была комната, перегороженная зеркалами, чтобы приближенные лица находились в ней незаметно для окружающих и всегда были рядом. В ней поочередно, а то и вместе сидели Понятовский, Нарышкин и тот же Орлов. Начиная с Александра Васильчикова последовали нововведения и усовершенствования. Механизм поиска любовников был прекрасно отлажен и отрегулирован. Например, Екатерина обращала внимание на какого-нибудь стройного красавца поручика. На следующий день она присваивала ему чин флигель-адъютанта и вызывала во дворец. Здесь обомлевшего поручика осматривал лейб-медик императрицы венеролог доктор Роджерсон. Если молодой человек оказывался здоровым, то он попадал в спальню фрейлины Брюс или Протасовой, которую все называли Анькой-прелюбодейкой. В функции этой искушенной в плотских утехах дамы, которой Екатерина II полностью доверяла, входила проверка молодца на выносливость в сексе. Его ждало совсем не простое «трехнощное испытание». Только после успешной сдачи этого «экзамена» и подробного инструктажа, как нужно вести себя с императрицей, он встречался с любвеобильной Екатериной. Он поселялся в покоях, соседних с императорскими: апартаменты уже были готовы к прибытию очередного фаворита. Толпы слуг и лакеев должны были выполнять малейшие прихоти и пожелания очередного екатерининского куртизана. Он был лишен лишь одного – права общаться с кем-либо, кроме узкого круга доверенных лиц императрицы. Таким образом, молодой человек оказывался в «золотой клетке». Он не мог никого посещать и ни от кого принимать приглашений.