После письма последовали многочисленные телефонные звонки, в которых бывший король выступал против своей матери, королевы Марии, и его заикающегося брата. Виндзору было скучно и одиноко в своем австрийском убежище, и он завалил его просьбами, требованиями и ненужными советами, как лучше править королевством. Его звонки в Лондон были настолько частыми и длительными, что хозяйка дома, баронесса Ротшильд, шутила, что она не была членом «богатой ветви» семьи и беспокоилась, как ей оплачивать счета. Эдуард также беспокоился о своем финансовом положении, титуле его будущей жены и списке гостей и месте его свадьбы, которая, по его словам, пройдет после коронации в мае. Он хотел большую, грандиозную свадьбу, на которой бы присутствовали обе семьи. Бывшего короля ждало внезапное и жестокое пробуждение.
Напор герцога довел Георга VI до того, что тот потерял терпение и приказал телефонным операторам в Букингемском дворце прекратить автоматически соединять его с герцогом. Вместо этого он послал сэра Уолтера Монктона в Австрию, чтобы тот объяснил новые реалии жизни его брату.
Как тактично записал Уолтер Монктон: «Герцог Виндзорский особенно поспешно принимал решения и хорошо разговаривал по телефону, а король Георг VI был не так быстр и был обеспокоен дефектами своей речи».
Увеличивающийся разрыв между братьями уже не скрывался. Ситуация еще более усугубилась из-за подлых слухов, которые распространяли не только о герцоге, но и о новом короле. Георг VI решил не посещать Имперский дарбар в Индии зимой 1937–38 годов, этот отказ многие, особенно сторонники харизматичного герцога восприняли, как не соответствие своей должности. В обществе, которое после отречения готово было поверить чему угодно, появились слухи, что он так нервничал, что даже не хотел присутствовать на коронации в мае. Масло в огонь подлило и противоречивое выступление по радио архиепископа Кентерберийского Космо Гордона Ланга после отречения, в котором он щедро раскритиковал герцога и его социальный круг, а также обратил внимание на дефект речи нового короля.
В течение последующих нескольких месяцев, несмотря на слова поддержки и утешения Монктона, герцога пресекали на каждом пункте в списке его требований. Герцог чувствовал, что в какой-то момент он сможет вернуться к публичной жизни в Британии и империи только лишь в роли старшего брата, поддерживающего нового короля. В противоположность этому, король и двор видели его и его невесту в качестве угрозы, решение Эдуарда VIII поставить личные желания выше выполнения своего долга перед королевством абсолютно противоречило смыслу монархии.
Хотя герцог решил не жертвовать личной жизнью, он ожидал, что его младший брат, который был не так хорошо готов ни физически, ни умственно для неожиданного восхождения на престол, возьмет на себя тягостную задачу короля.
Королевскую семью также не покидал страх, восходящий еще к средневековью, что старый король ни в коем случае не может быть представлен в хорошем свете. При дворе, включая новую королеву, считали, что он должен оставаться в изгнании, так как он сам добровольно бросился во тьму. Любое преждевременное возвращение будет считаться угрозой новому королю и его порядкам. В Новый год отречение стало единственной темой для разговора королевской семьи.
Придворный библиотекарь Оуэн Моршед вспоминал, как король и королева много размышляли о неординарной личности Эдуарда и его умении очаровывать людей. Он заметил, что королева выразила негласный страх: если он расстанется с миссис Симпсон «будет опасно иметь такую сильную личность, такую притягательную личность, которая шатается и ничего не делает». Хотя премьер-министр Невилл Чемберлен пришел к мнению, что герцогу можно разрешить вернуться в Англию, только значительно уменьшить его королевскую роль, королева была неумолимо против этого. Как вспоминал Уолтер Монктон:
«Она естественно думала, что должна быть настороже, так как герцог Виндзорский, с которого другие братья всегда брали пример, был привлекательной, жизненно важной персоной, которая может объединить всех тех, кто критически относится к новому королю, который внешне был меньше одарен грацией, на которую так приятно смотреть».
Мнение королевы превалировало: на Даунинг-стрит приготовили 64-страничный доклад на тему предлагаемого финансового обеспечения нового герцога Виндзорского, основанный на потенциальных трудностях для короля и королевы, если свежеиспеченная американская герцогиня создаст конкурентный двор, финансируемый из государственного бюджета. Автор сэр Горас Уилсон предупредил:
«Не следует считать, что она отказалась от надежды стать королевой Англии. Известно, что у нее безграничные амбиции, включая желание вмешиваться в политику; она имела связь с нацистским движением и потворствует идее диктаторства».