Вместе с тем несомненно, что и тмутороканские хазары желали избавиться от беспокойных князей, нарушивших мирные связи Тмуторокани с Русью, в которых особенно были заинтересованы купцы. Можно допустить, что именно хазары держали в своих руках торговлю этого города, а вместе с тем, что в какой то своей части они состояли из евреев, издавна обосновавшихся в нем и после принятия хазарами иудейской религии считавшихся хазарами. Впрочем в Тмуторокани могло быть не малое количество и хазар по происхождению, на которых еврейско-хазарское купечество и опиралось как на свою реальную силу.
Тмуторокань не долго оставалась во власти Всеволода. Этот город стал излюбленным местом для князей изгнанников, которые рассчитывали именно здесь в богатом торговом центре, находившемся далеко от сильных князей, распоряжавшихся Русью, найти безопасное убежище и накопить силы для борьбы со своими противниками. В 1081 г. сюда бежали Давид Игорович и Володарь Ростиславич[1478]. Последний был сыном тмутороканского князя Ростислава, отравленного херсонским кото-паном и мог рассматривать этот город как свою «отчину». Они завладели городом, но не надолго. На сцене опять появляется Олег. Выданный Византии хазарами, он пробыл там 4 года, из которых 2 провёл в ссылке на острове Родосе. Женившись на византийской патрицианке Феофано Музалон, Олег в 1083 г. вернулся в Тмуторокань, изгнал Давида и Володаря и перебил хазар, причастных к убийству его брата и умышлявших против него самого[1479]. Из этого видно, что в отношении Византии к Олегу произошёл поворот. Он не только получил свободу, но вероятно и помощь, без чего он не смог бы овладеть Тмутороканью. Вместе с тем Олег не оставил своего намерения вернуть отцовское наследие, но на этот раз не спешил, а собирал силы и терпеливо ждал подходящего случая. Только через 10 лет, в 1094 г., после смерти Всеволода и разгрома русского войска половцами на Стугне, он опять в союзе с половцами начинает борьбу за Черниговскую землю[1480] и в конце концов обосновывается на Новгород-Северском княжении[1481].
После 1094 г. о Тмуторокани ничего не слышно. Позже она упоминается под именем Матраха, но без всякой связи с Русским государством. До монгольского нашествия она продолжала существовать как торговый город с разнородным населением, по данным Георгия Лахимера, состоявшим из алан, готов и русских. Хазары больше не упоминаются ни разу[1482].
Память о хазарах несколько дольше сохраняется на западе их бывших владений — в Крыму, но и здесь их имя выступает всего лишь географическим понятием. Наименование Крыма Хазарией засвидетельствовано ещё для XI в., Хазарией или Газарией Крым назывался в итальянских документах XII–XVI вв., когда на его побережьи существовали генуезские колонии.
В документах каирской генизы имеются данные о мессианском движении, возникшем среди иудеев в Хазарии в XII в., что, по-видимому, относится к крымским иудеям и является одним из последствий гибели Хазарского царства[1483].
При нашествии Святослава хазарские города сильно пострадали. В Семендере, по данным Ибн Хаукаля, «в любом из садов и виноградников не осталось на милостыню для бедных… не стало ни винограда, ни изюма»[1484]. Ещё более катастрофически должны были отразиться на состоянии Итиля последующие события, когда город, подвергаясь нападениям гузов, подпадал под власть то Хорезма, то Руси. Во времена Бируни (973–1048 гг.) Итиль находился в развалинах[1485]. Он возродился только в XII в., но тогда он принадлежал уже не хазарам, не хорезмийцам и не руси, а гузам. Его новое имя было Саксин[1486].
Естественно, что разорённые хазарские города утратили прежнее экономическое и политическое значение, торговая и политическая роль Итиля перешла к Тмуторокани. Возможно, туда перебралась и та часть купечества, которая связывала Восток с Западом — с Русью и Византией, а через них и с ещё более отдалёнными странами. Интересы оставшихся в Поволжье хазар замкнулись рамками собственного натурального хозяйства. В их владении ещё оставалась исконная хазарская территория от Нижней Волги до Дагестана, где они продолжали кочевать со своими стадами[1487].