В 1806 году Каролина совершила чудовищную ошибку, настроив против себя Дугласов, своих недавних друзей и соседей. Именно в обществе леди Дуглас принцесса впервые назвала Уилликина своим сыном. После нескольких месяцев близкой дружбы, однако, Каролине соседи надоели, и она более чем прохладно встретила приехавшую к ней однажды с визитом леди Дуглас. Когда же леди написала Каролине письмо, в котором намекала насчет того, что знает секреты, которые та не желала бы сделать объектом всеобщего внимания, Каролина повела себя как нельзя глупее. Она начала слать бывшей подруге непристойные, несколько истерические «анонимные» письма, содержащие плохо выполненные рисунки – леди Д. во время сексуальных забав. Дугласы не сомневались в том, кто именно автор этих писем. На одном из них, между прочим, был оттиск королевской печати.
Обиженные Дугласы, которые, кстати говоря, все время находились в стесненном финансовом положении, направились прямиком к принцу и дали понять, что готовы под присягой заявить, будто бы Уилликин незаконнорожденный ребенок Каролины. Ко всему прочему леди Дуглас обвинила принцессу в том, что та прикасалась к ней и пыталась поцеловать так, как этого делать не следует. Вооружившись их свидетельствами, принц Уэльский потребовал расследовать предполагаемую неверность живущей отдельно от него супруги. «Деликатное расследование», как оно официально именовалось, было возложено на тайный правительственный комитет. Допросили всех, начиная от ливрейного лакея Каролины и заканчивая Томасом Лоуренсом, писавшим с нее портрет. Родная мать Уилликина засвидетельствовала под присягой, что отдала своего сына принцессе, когда тому исполнилось четыре месяца. Комитету ничего не оставалось, как снять с Каролины все обвинения. Щеголю не удалось так легко заполучить развод.
Каролина выиграла и другой суд, суд общественного мнения. Хотя расследование должно было вестись втайне, информация о происходящем, как всегда в таких случаях, просочилась в придворные круги. В газетах печатались документы, каким-то образом украденные из комитета. Каролина завоевала симпатии английской публики, представ в роли оклеветанной жены и матери, которой не дают видеться с собственной дочерью. Но в большей мере поддержка объяснялась всеобщей неприязнью к Щеголю. Британский народ и пресса не питали симпатии к дуракам, а особенно к страдающих ожирением пьяницам-дуракам, которые транжирят деньги налогоплательщиков на любовниц и вино. Романистка Джейн Остин в 1813 году писала о Каролине: «Бедная женщина! Я буду всегда на ее стороне, потому что она женщина, а я ненавижу ее мужа».
Несмотря на симпатии простых людей, британская аристократия относилась к Каролине без особой теплоты. Ее изоляция стала практически полной, после того как в 1811 году Георга Третьего объявили психически невменяемым. Принц Уэльский официально был провозглашен регентом при больном отце, что означало: каждый, кто хотел быть принят при дворе, не должен был быть замеченным в дружеских отношениях с Каролиной. К тому же принцесса совершила непростительное преступление с точки зрения утонченного английского светского общества: она превратилась в зануду. Ее несчастные фрейлины с трудом выносили бесконечные жалобы Каролины на ужасное отношение со стороны членов королевской семьи. Принцесса обожала распространяться насчет того, как она ненавидит всех своих родственников со стороны мужа и на какую ужасную казнь она обрекла бы их, будь на то ее воля. Иногда после ужина Каролина развлекалась тем, что втыкала булавки в восковую куклу, внешним видом напоминавшую мужа, после чего бросала ее в огонь. За это ее бы обезглавили, живи она во времена Анны Болейн. (Смотрите главу «Принцессы-ведьмы» на с. 85.)
В августе 1814 года Каролина покинула Англию и шесть лет провела в путешествиях. Оказавшись в октябре в Женеве, толстая и краснощекая женщина сорока шести лет поставила всех и саму себя в щекотливое положение, когда появилась на балу, который давали в ее честь, «одетая как Венера, то есть обнаженная до пояса». Спустя год английский аристократ, встретив Каролину в Генуе, писал, что это «толстая женщина пятидесяти лет», «низкорослая и краснолицая». На ней был «розовый корсет, едва прикрывающий грудь, и белая юбка, заканчивающаяся чуть ниже колен». Другой путешественник описывает черный парик и «белое платье», разрез которого доходил чуть ли не до живота.