Но одного человека не было на меняющемся лице Нассау – его шведского друга Акселя Веннер-Грена, который к большому горю герцога попал в официальный экономический черный список США в течение семи дней после нападения на Перл-Харбор. Он был значительным инвестором на островах, и это было значительным финансовым ударом. Хотя герцог попросил посла Галифакса объяснить, почему было принято такое решение, ответ, который он получил, был крайне непрозрачным. Реальной причиной было то, что он был слишком влиятельным. Его огромное состояние позволило ему де-факто стать экономическим царем Мексики, что означало, что он имел больше контроля над ценными ресурсами, чем американцы готовы были позволить. Центральная Америка и Мексика были их участком, а Веннер-Грен незаконно проник на их территорию.
Американские СМИ однако присоединились к простому мнению, что он был другом нацистов, называя шведа вражеским агентом, который построил базу на острове Хог на Багамах, чтобы направлять немецкие подводные лодки к их целям. Хоть это была дикая история, даже официальное отрицание герцогом не остановило спекуляции; более того, неоспорим был тот факт, что Багамы были потенциальным убежищем немецких подводных лодок и что Нассау был практически незащищенным. У них было всего лишь два пулемета для защиты города. Учитывая выходки немцев во время их пребывания в Испании и Португалии в 1940 году и странный полет Рудольфа Гесса в Шотландию в мае 1941 года, воображение герцога и герцогини работало сверхурочно. Они боялись, что нацистские диверсанты могли проникнуть из подводной лодки в Дом правительства, украсть их и взять их в заложники для обмена с заключенным Гессом. На этот раз Британия и Америка прислушались к королевскому губернатору, особенно после того, как итальянские субмарины потопили два корабля на Багамском побережье. Черчилль лично распорядился о развертывании двухсот солдат, а американцы пообещали установить воздушные и морские разведывательные станции и ряд разведывательных постов по островам.
Несколько месяцев спустя в августе 1942 года смерть его младшего брата, герцога Кентского, в авиакатастрофе в Шотландии принесла домой страшную человеческую цену войны. Это также напомнило ему, если он вообще нуждался в напоминании, что из-за семейной ссоры он не видел своего брата с момента короткой встречи в Вене в 1937 году. Герцог был опустошен. На панихиде в честь герцога Кентского в Нассау он плакал в течение всей церемонии, оплакивая, скорбя по своему брату и, возможно, по своей собственной жизни, и кем он стал.
Однако семейная трагедия не залечила рану между герцогом и его братом Георгом VI. Даже Черчилль был шокирован, когда спросил короля, хочет ли он отправить братское приветствие герцогу, так как он должен был встретиться с ним во время визита Рузвельта в его доме в Гайд-парке. Премьер-министр, который пытался, где это было возможно, исправить подорванные королевские отношения, получил «самое холодное сообщение» в ответ от короля. Его секретарь Джок Колвилль вспоминал: «Премьер-министр диктовал мне довольно сокрушительный ответ [королю], но как часто бывало, потом он заменил его на более примирительный».
Во время войны к Виндзорам по-разному относились: с презрением, подозрением и торжеством. Временами это сбивало герцога и герцогиню с толку, в другую минуту они воспринимали это с энтузиазмом, а потом с ледяным молчанием. В мае Черчилль пригласил герцога и герцогиню поприсутствовать на его обращении к Конгрессу. Когда они заняли свои места 18 мая 1943 года чиновники и политики встретили их овацией, которой они насладились больше, чем приглашением от премьер-министра. Он не был удивлен. «Когда герцог спустился на свое место в первом ряду, ему аплодировали как Уинстону или даже больше, чему мы были удивлены», – заметил лорд Моран, который наблюдал из дипломатической галереи.
Тем не менее, хотя они ужинали с Рузвельтом, чье мнение о герцоге стало куда более позитивным, и наслаждались ликующей толпой, куда бы не направлялись, с ними обращались как с изгоями и предателями многие из Вашингтона и те, кого герцог называл «Официальной Англией».
Вскоре после того, как они были гостями на обращении Черчилля к Конгрессу, посол Галифакс спросил Госдепартамент, могут ли написанные герцогиней письма быть освобождены от цензуры. Госдепартамент отклонил просьбу, Адольф Берл, координатор разведки, был уверен, что за ней нужно продолжать наблюдение. В меморандуме от 18 июня 1943 года он написал Корделлу Халлу, объясняя причины:
