20 мая 1776 года Завадовский сделался официальным фаворитом императрицы. Он получил в подарок 3 тысячи душ, чин генерал-майора и 20 тысяч рублей. Потемкин уже не возражал. Буря миновала, супруги наконец уняли свои страсти, и Потемкин позволил Екатерине утешаться с Завадовским. Но он еще не привык к тому, что Екатерина уже не его, и иногда приезжает в Царское Село. Завадовский на время их встреч деликатно исчезает. Иностранные дипломаты не знают, что и думать по этому поводу, – со дня на день они ждут окончательного падения Потемкина. Их предположения как будто оправдываются, когда Екатерина жалует Потемкину огромный Аничков дворец, принадлежавший ранее фавориту Елизаветы Алексею Разумовскому. На ремонт Аничкова дворца она выделяет ему 100 тысяч рублей. За этим могло последовать только освобождение Потемкина со всех постов, удаление его из Зимнего дворца и путешествие на «заграничные курорты». Потемкин понимает, что если он потеряет свои апартаменты в Зимнем, то потеряет все. Екатерина успокаивала его: «Батинька, видит Бог, я не намерена тебя выживать из дворца. Пожалуй, живи в нем и будь спокоен. По той причине я не давала тебе ни дома, ни ложки, ни плошки». Позже Потемкин, конечно, освободит комнаты фаворита, но никогда не потеряет доступа ни в Зимний дворец, ни в будуар Екатерины. До конца жизни его резиденцией станет Шепелевский дворец (в Аничковом он никогда не жил) – здание, стоящее на Миллионной улице и связанное с Зимним дворцом галереей, перекинутой через Зимнюю канавку. Таким образом, императрица и Светлейший могли навещать друг друга запросто, по старой дружбе. Трудно сказать, сколько Екатерина потратила на Потемкина. Считается, что князь получил 37 тысяч душ, многочисленные поместья вокруг Москвы и Петербурга, а также в Белоруссии, множество драгоценностей и 9 миллионов рублей.
Екатерина и Потемкин наконец обрели свободу, сохранив взаимную поддержку в политике, в повседневных делах и любви. И они по-прежнему доверяли друг другу, что было непросто для таких эмоциональных натур. Из фаворита-любовника Потемкин превратился в министра-фаворита. Но Петр Завадовский ему все равно не нравился. И дело было не в ревности (может, лишь отчасти), но главное, это была не его кандидатура. Мы уже знаем много примеров того, как знатные царедворцы (каким и был Потемкин) пытались подсунуть царице своих любовников, чтобы через них влиять на нее. Это была старая уловка, и многие ею пользовались. Мол, лучше пусть у нее будет любовник, которому я доверяю, чем кто-то чужой; неизвестно еще, как дело обернется. Потемкин хотел сохранить свое влияние на Екатерину хотя бы таким способом.
Довольно быстро он нашел подходящего претендента на эту роль – георгиевского кавалера, отчаянного кавалериста-рубаку и притом красавца, серба Семена Зорича. Он взял его к себе в адъютанты и 26 мая 1777 года представил Екатерине II. Зорич ей понравился, и Потемкин сразу же понял, что дело сделано, – уже на следующий день Завадовский отправился в длительный отпуск. Однако Зорич оказался непроходимым тупицей – возомнив о себе невесть что, он решил потягаться со своим благодетелем! «Зорич стал одним из богатейших вельмож и землевладельцев, однако ни земли, ни чины, ни ордена, ни богатство не прибавили Зоричу ума, которого ему не доставало. Еще не отметив годовщину своего “случая”, Семен Гаврилович решился учинить афронт своему несокрушимому сопернику и благодетелю Григорию Александровичу Потемкину. Пребывая вместе с ним и Екатериной в Царском Селе, он затеял ссору и даже вызвал Потемкина на дуэль, но вместо поединка отправился за границу, куда его быстро спровадила Екатерина. А по его возвращении осенью 1778 года ему было велено отправиться в Шклов», – писал современник.