Пушкин, прежде чем окончательно подружиться с Толстым, вызывал его на дуэль. Дело в том, что, уже оказавшись в ссылке, Пушкин узнал, что граф Федор распространил клевету, будто поэта высекли в Тайной канцелярии. Ответом поначалу послужили резкие выпады против Толстого, сначала в эпиграмме 1820 года:
Спустя год в послании Чаадаеву поэт возвращается к этой теме (обида еще не забыта) почти в тех же словах:
Федор Толстой.
Федор Толстой не стал отмалчиваться и, в свою очередь, ответил Пушкину эпиграммой, прослышав о которой поэт обещал представить графа «во всем блеске в 4-й песне Онегина». Но в итоге упомянул о нем только иносказательно, говоря о «презренной клевете, на чердаке вралем рожденной». Некоторые черты Толстого Пушкин изобразил в образе старого дуэлянта Зарецкого:
Возвратись из ссылки, Пушкин вызвал Толстого на дуэль. На дуэльном поле могли сойтись два ярких бретера, впрочем столь разных и по характеру, и по возрасту. Иные уже думали, что Пушкин обречен, потому что Толстой никогда не промахивался. Но мудрые друзья нашли средства помирить их, и поэт охотно сдружился с «картежной шайки атаманом».
Более того, когда Пушкин через несколько лет задумает жениться на Наталье Гончаровой, в сваты он выберет именно графа Федора Толстого.
А. А. Стахович, современник Толстого, записал такую историю, не ручаясь, впрочем, за ее достоверность: «Толстой был дружен с одним известным поэтом, лихим кутилой и остроумным человеком, остроты которого бывали чересчур колки и язвительны. Раз на одной холостой пирушке один молодой человек не вынес его насмешек и вызвал остряка на дуэль. Озадаченный и отчасти сконфуженный поэт передал об этом «неожиданном пассаже» своему другу Толстому, который в соседней комнате метал банк. Толстой передал кому-то метать банк, пошел в другую комнату и, не говоря ни слова, дал пощечину молодому человеку, вызвавшему на дуэль его друга. Решено было драться тотчас же; выбрали секундантов, сели на тройки, привезшие цыган, и поскакали за город. Через час Толстой, убив своего противника, вернулся и, шепнув своему другу, что стреляться ему не придется, спокойно продолжал метать банк».
А. П. Новосильцева в журнале «Русская старина» приводит такой рассказ о Толстом и его друге П. А. Нащокине: «Раз собралось у Толстого веселое общество на карточную игру и на попойку. Нащокин с кем-то повздорил. После обмена оскорбительных слов он вызвал противника на дуэль и выбрал секундантом своего друга. Согласились драться следующим утром.
На другой день, за час до назначенного времени, Нащокин вошел в комнату графа, которого застал еще в постели. Перед ним стояла полуопорожненная бутылка рома.
— Что ты это ни свет ни заря ромом-то пробавляешься! заметил Петр Александрович.
— Ведь не чайком же мне пробавляться.
— И то! Так угости уж и меня, — он выпил стакан и продолжал. — Однако, вставай, не то мы опоздаем.
— Да уж ты и так опоздал, — отвечал, смеясь, Толстой. — Как! Ты был оскорблен под моим кровом и вообразил, что я допущу тебя до дуэли! Я один был вправе за тебя отомстить, ты назначил этому молодцу встречу в восемь часов, а я дрался с ним в шесть: он убит».
