Резкий всплеск эмоций Воронцова на попытку Вигеля заступиться за Пушкина, так же как и самое решение послать Пушкина в эту унизительную поездку, были вызваны, конечно, настойчивыми ухаживаниями поэта за его женой, и, следовательно, ревностью мужа, которого хотят украсить очередными рогами. Или доброхоты донесли что-нибудь своему начальнику, или от него самого, быть может, не укрылось что-то новое во взаимоотношениях жены его и любвеобильного поэта. Пушкин был в гневе, но все же поехал на борьбу с саранчой, опять же по совету своего «любезного друга» Александра Раевского. Поэт отнюдь не был исполнительным и дисциплинированным чиновником. Вернувшись из командировки, Пушкин написал письмо, где жаловался на болезнь (аневризм), на мизерное жалование, 700 рублей в месяц, и вообще на неуютную и неустроенную жизнь.
Между тем Пушкин и графиня постепенно все более тянулись друг к другу. Лишь урывками они встречались наедине, и, наконец, Воронцова поддалась настойчивым ухаживаниям поэта. Пушкин рассказывал о своих ночных свиданиях с ней Вере Федоровне Вяземской, с которой связывала его нежная дружба. Свидания в доме Воронцовых становятся, видимо, небезопасными, и влюбленные ищут уединения в пещере на берегу моря:
Часто эти свидания происходили в присутствии Вяземской. За это ей строго выговаривал граф Воронцов. В июне 1824 года она писала мужу из Одессы: «… иногда у меня не хватает храбрости дожидаться девятой волны, когда она слишком приближается, тогда я убегаю от нее, чтобы тут же воротиться. Однажды мы с гр. Воронцовой и Пушкиным дожидались ее, а она окатила нас настолько сильно, что пришлось переодеваться». Не исключено, что ХХХШ строфа "Онегина" посвящена графине Воронцовой. «Вот строфа, которой я вам обязан», – пишет поэт Вяземской, видимо намекая на то, что заботливая Вера Федоровна организовывала встречи поэта и Елизаветы Ксаверьевны.
Недолго длились их интимные отношения. То ли написанная Пушкиным на графа Воронцова резкая эпиграмма «Полу-милорд, полу-купец…», то ли сексуальное неприятие поэта Елизаветой Ксаверьевной, но в их отношениях появилась трещина. Сын Вяземских, Павел Петрович, много слышавший о Пушкине от своих родителей, сообщает, что причиной неистового гнева поэта против Воронцова было «паче всего одурачение ловеласа, подготовившего свое торжество». Этого и следовало ожидать. С Пушкиным начали обходиться очень сухо, хотя по-прежнему поэт посещал дом Воронцовых. Поэт злился на неудачу в отношениях с Елизаветой Ксаверьевной, к которой питал сильную страсть. Поэтому он язвил, дергался, мог совершить различные безумства. Вот, что рассказывает П.И. Бартенев: «Перед каждым обедом, к которому собиралось по несколько человек, княгиня-хозяйка обходила гостей и говорила каждому что-нибудь любезное. Однажды она прошла мимо Пушкина, не говоря ни слова, и тут же обратилась к кому-то с вопросом: «Что нынче дают в театре?» Не успел спрошенный раскрыть рот для ответа, как подскочил Пушкин и, положа руку на сердце (что он делывал, особливо, когда отпускал остроты), с улыбкою сказал: «La sposa fedele», contessa!» «. Та отвернулась и воскликнула: «Quelle impertinence! (Какая наглость!».
«La sposa fedele» – «Верная супруга» – опера-буфф композитора Джованни Пачини (1796-1867). Пушкин, видимо, намекнул на неверность Воронцовой, как бы публично демонстрируя свои с ней отношения.
14 июня графиня Воронцова на корабле уезжает в Крым в сопровождении светских своих знакомых. В те же дни граф Воронцов, которого допек беспардонный в своем поведении Пушкин, терзает письмами министра иностранных дел Нессельроде с просьбой отозвать поэта и даже отправить его в ссылку. Пушкин остается один наедине со своими чувствами и переживаниями. «Пушкин скучает более чем я, – пишет мужу княгиня Вяземская, – три женщины, в которых он влюблен, недавно уехали». Вера Федоровна имела в виду Каролину Собаньскую, Амалию Ризнич и графиню Воронцову.
