2 апреля 1781 г. Екатерина II направила сыну три осторожных записки, в которых намекала на его происхождение и обстоятельства рождения, а также объявляла о положенном на его имя солидном капитале. Первая из них гласила: «Известно мне, что мать ваша, быв угнетаема и угрожаема разными неприязньми и сильными неприятелями, по тогдашним смутным обстоятельствам, спасая себя и старшего своего сына, принуждена нашлась скрыть ваше рождение, воспоследовавшее 11 числа Апреля 1762 года. Как вы мне вверены были, то я старалась вам дать приличное вашему состоянию воспитание. Осталось вам ныне добродетельною жизнию, ревностию и усердием к отечественной службе и непоколебимою верностию к престолу отличить себя во всех случаях, в чем да поможет вам Всевышний».
Как должен был себя чувствовать Бобринской? Что ощущал он, с детства лишенный материнской ласки, обделенный вниманием отца, устраивающего личную жизнь с ровесницей сына? В дневниках Алексея отец упоминается неоднократно и не иначе как «Князь Орлов». 9 ноября 1779 г. «князь Орлов присылал узнать о его здоровье», а 15 ноября «сказал Государыне, что он (Алексей) ничего не учится». Однако Алексей завершил учебу с малой золотой медалью, что, согласно Уставу Кадетских корпусов, давало ему право на трехлетнее путешествие по Европе. Но сначала в течение года Бобринской с тремя своими однокашниками в сопровождении университетского профессора Н.Я. Озерецковского путешествует по России, объезжает Псков, Новгород, Астрахань, Екатеринбург, Тобольск, Могилев, Киев, изучает экономику и географию страны, культуру и историю населяющих Империю народов. Автор любопытной версии относительно странной судьбы Бобринского М.В. Петрова предполагает, что Екатерина II осуществляла сложный дипломатический план: подготовить Алексея к государственному правлению, а затем сделать его владетельным князем Ольденбурга и Делменгорста путем брака с одной из принцесс Баденских, тем самым усилив европейское влияние России. На эти цели в один из английских банков регулярно перечислялись немалые средства. Однако впоследствии Бобринской пошел против воли матери, отказавшись жениться на принцессе Фредерике
Баденской, родной сестре Елизаветы – жены Великого князя Александра Павловича, в котором императрица видела своего преемника. Этот шаг Алексея привел к еще большему отчуждению между ним и царственной матерью.
В 1783 г. Бобринской в чине гвардейского поручика был отправлен за границу. Путешествуя по Европе, он проявил себя наблюдательным и думающим человеком, о чем, к примеру, свидетельствуют его высказывания из записной книжки, среди которых читаем: «При тех нравах, которые мы имеем в Европе, деньги должны, в конце концов, узурпировать абсолютную власть». В своей записной книжке Алексей Григорьевич делал весьма дельные пометки, касавшиеся медицины, астрономии и метеорологии, геодезии и минералогии, ювелирного дела, химии и ботаники, финансов и управления государством, военного дела. «Он покупает многочисленные карты частей света, коллекционирует древние манускрипты, интересуется вопросами изменения границ государств, учит наизусть стихи, читает философов, интересуется всем таинственным и даже бывает у колдунов», – пишет граф Николай Николаевич Бобринской.
В то же время в Париже и Лондоне Алексей вел самую беспорядочную жизнь, был неразборчив в амурах, проиграл в карты десятки тысяч ливров, что вызывало тревогу зарубежных корреспондентов Екатерины. Одному из них, барону Гримму императрица писала: «Все, что вы пишете мне об известном молодом человеке, меня не удивляет. Он происходит от очень странных людей и во многом уродился в них».
Когда «странности» сына материализовались в огромные карточные долги, Екатерина II немедленно приказала ему вернуться в Россию. Весной 1788 г. Бобринской приехал в Ригу, где ему было повелено безвыездно жить в Остзейском крае, а новым опекуном Алексея был назначен граф П.В. Завадовский. В 1790 г. государыня утешила сына чином бригадира. Она все еще надеялась ввести Алексея в семью европейских монархов, обвенчав его с принцессой Баденской. Огромный дворец в Бобриках, кажется, и был выстроен для августейшей особы. Но горячая натура бастарда, изнывавшего в ссылке, нашла применение в амурных похождениях, чему способствовал и наследственный темперамент. По семейным преданиям Бобринских, он имел дочь Улиту от крестьянки и некоего Соловьева, сына, служившего у него поваром, а затем бывшего мундкохом (главным поваром) при Высочайшем дворе. Другой его побочный сын, Райкб (или Бобриков) в 1806 году учился в Санкт-Петербургском педагогическом институте и дружил с князем Петром Андреевичем Вяземским, которого познакомил с творчеством Парни.
Николай Алексеевич Райкб (1794–1854), третий внебрачный сын Алексея Григорьевича, впоследствии знаменитый шелковод, внешне удивительно походил на Александра I – своего двоюродного брата, что давало повод для светских пересудов.