Андроник долгое время скрывался на землях арабского халифата, некоторое время жил в Грузии. Феодора покорно следовала за ним и даже родила двоих детей ― Алексея и Ирину. К этой необычной семье присоединился и старший сын Андроника, Иоанн ― ему удалось бежать из Византии.
Нахождение на мусульманских землях не могло служить надежной защитой беглецу; война между двоюродными братьями велась по всему миру, она не закончится даже со смертью одного из них. «Много раз и часто Мануил покушался поймать Андроника и старался погубить его, но все его попытки оставались безуспешными, ― рассказывает византийский хронист. ― Долго странствовавший и много перенесший Андроник без труда отклонял от себя все удары и, легко избегая сетей, которые часто ему расставлялись и перед ним раскидывались, оставался неуловимым».
Беглец наносил ответные удары императору, и довольно чувствительные. После долгих странствий он нашел пристанище у злейших врагов Византии ― турок. Правитель пограничной области отдал в распоряжение Андроника крепость, которую последний сверх того укрепил по своему усмотрению. Из этого орлиного гнезда он совершал частые набеги на земли ромеев; множество пленных и захваченная добыча передавались туркам. Константинопольский патриарх предал Андроника анафеме, но тому от бессильных проклятий было ни жарко, ни холодно.
И все же достал двоюродного брата Мануил. Стараниями правителя Трапезунда в плену оказалась любимая женщина Андроника; бывшую королеву Иерусалима вместе с детьми увезли в Константинополь. Андронику вновь предложили соединиться с семьей, и он не посмел отказаться, ― беспринципный во всем человек отличался пламенной привязанностью к детям.
Возвращение бродяги было финальным актом продуманной до мелочей пьесы. Андроник настолько сильно сыграл сцену своего раскаяния, что поверил даже император, ― далеко не глупый и, тем не менее, часто им обманываемый.
«…Андроник, отправив к царю послов, просит прощения во всех своих дурных поступках и гарантий того, что по своем прибытии не потерпит никакой неприятности, ― описывает процесс его возвращения Никита Хониат. ― Царь согласился на то и другое без всякой коварной мысли, и через некоторое время Андроник является. Как человек ловкий и способный на все плутовские проделки, он надел на шею тяжелую железную цепь, которая опускалась до самых пят, и скрыл ее под одеждой, чтобы до времени не заметили ее ни царь, ни окружавшие престол его. Получив дозволение войти и представиться самодержцу, он, как только показался ему на глаза, тотчас же растянулся на полу во всю длину своего огромного роста, выставив напоказ цепь и, со слезами на глазах, пламенно и трогательно просил прощения во всем, чем оскорбил царя. Царь, изумленный этим зрелищем, прослезился сам и приказал поднять Андроника, но он уверял, что не встанет с пола, пока кто‑нибудь из стоящих по приказанию царя не протащит его за цепь по ступеням престола и не повергнет перед царским седалищем. Как просил Андроник, так и было сделано. А исполнил это дело Исаак Ангел, который впоследствии и лишил Андроника власти, ― событие, которому нельзя не удивляться и которое едва ли можно объяснить бессмысленным стечением обстоятельств или простым случаем. Вследствие этого Андроник был принят блистательнейшим образом и удостоился великолепного угощения, какое прилично такому человеку, возвратившемуся после долговременного отсутствия. Потом его препроводили в Эней с тем, чтобы он, поселившись там на жительство, успокоился от долговременного странствования и отдохнул после многолетней бродячей жизни».
Андроник спокойно жил и… ждал. Величайший авантюрист прекрасно понимал: удача приходит к тому, кто умеет ждать. В 1180 г. умирает шестидесятидвухлетний император Мануил. Согласно сведениям хрониста Андроник был ровесником императора, но он полон сил, энергии, планов. Некоторое время он наблюдает за происходящим вокруг византийского трона.
Перед смертью Мануил позаботился о блестящем брачном союзе для своего сына Алексея. Невестой одиннадцатилетнему наследнику престола была избрана дочь короля Франции Людовика VII. Восьмилетняя Агнесса прибыла в Константинополь, приняла православное имя Анна и ожидала своего совершеннолетия при дворе императора. Однако в брачную постель юная императорская чета так и не попала.
А коварный властолюбец поджидал, когда государство поглубже увязнет в склоках. Как опытный рыбак, он понимал, что лучше ловить рыбу в мутной воде.