На вершине его власти летом 1938 года, когда Геринг собирался послать Видемана в Лондон с сомнительной миссией, никто не смог бы предвидеть действия Видемана во время Второй мировой войны. В то время задачей Видемана в Лондоне было выяснить, мог ли бы Геринг быть приглашён в Англию. Геринг думал, что взаимопонимание между Германией и Британией могло быть достигнуто, но новый министр иностранных дел Германии, Иоахим фон Риббентроп, которого Геринг полагал некомпетентным и глупым, стоял на пути любой сделки с Британией. Гитлер одобрил визит, во время которого Видеман встретился с лордом Галифаксом, министром иностранных дел Британии. С новостями в кармане, что британцы в принципе были готовы пригласить Геринга (что было не совсем тем, что сказал Галифакс, но что услышал Видеман) и что когда-нибудь они будут рады пригласить Гитлера в Лондон, он приехал обратно в Германию. Однако к тому времени, когда Видеман прибыл обратно в Берлин, Гитлер потерял интерес к предприятию, в то время, как Риббентроп был в ярости от того, что Видеман действовал за его спиной. С этого момента положение Видемана было ослаблено. Когда затем стало известно, что Видеман полагал, что Гитлер должен пойти на компромисс в отношении его территориальных требований к Чехословакии, чтобы избежать войны, Гитлер уволил Видемана в январе 1939 года. После войны во время дачи показаний при подготовке к Нюрнбергскому процессу, Видеман заявил, возможно, отчасти в самооправдание, что Гитлер сказал ему при увольнении: "Мне не нужны люди в моём окружении, которые не поддерживают мою политику всем сердцем".
В начале 1939 года Гитлер решил, что хочет убрать с глаз бывшего адъютанта своего полка, но всё же он чувствовал себя обязанным по отношению к нему и оставался любезен по отношению к нему даже тогда. Так что Гитлер назначил Видемана генеральным консулом Германии в Сан-Франциско, в городе, который Видеман полюбил со времени своего отпуска в Америке в 1937 году. Как выразился следователь США в 1945 году, Видеман "показал своё недовольство и оказался в опале".
По прибытии на западное побережье Америки Видеман поселился в зажиточном пригороде Хиллсборо между Сан-Франциско и Тихим океаном и стал обдумывать свой следующий ход. Власти США изрядно нервничали по поводу его прибытия, подозревая, что бывший высокопоставленный помощник Гитлера на третьесортной дипломатической позиции может означать только то, что Видеман находится на секретной миссии для основания японо-американской шпионской сети и руководства ею из Сан-Франциско. Американский иллюстрированный журнал, описывая его прибытие в район залива Сан-Франциско, был явно смущён относительно Видемана: "Прибытие капитана было в некотором смысле разрядкой напряжённости. Вместо коротко постриженного офицера прусского типа с пронзительным взглядом репортёры обнаружили дружелюбного и очень вежливого улыбчивого человека с приятными манерами". По описанию журнала внешний вид Видемана был привлекательным. Высокий, темноволосый и опрятный, он выглядел на десять лет моложе своих 48. Одевался он неформально, но хорошо. Драчливость в его лице с массивной челюстью и низким покатым лбом исчезает, когда он улыбается – а улыбается он часто. Со своей "обезоруживающей манерой" бывший адъютант 16‑го полка был "для газетчиков … сюрпризом и разочарованием". Статья также отмечала, что он действовал очень сдержанно по отношению к местным нацистам и что в выступлении он сказал о том, что "немцы Западного побережья – это не немцы, а американцы и они должны действовать соответствующим образом". Видеман даже заметил на приёмах, к удивлению журнала, что он "действительно был в немилости у фюрера". Тем не менее, и журнал, и ФБР, действовавшее на основании информации от государственного департамента, заключили, что поведение Видемана было лишь дымовой завесой для его шпионской деятельности.
Когда вскоре после Видемана в Сан-Франциско прибыла также принцесса Стефания фон Гогенлоэ Вальденбург Шиллингфюрст – яркая венгерская разведённая светская львица на пятом десятке, дочь еврея, обратившегося в католицизм, время от времени бывшая гостем Гитлера, по слухам бывшая любовницей Видемана и предполагаемая шпионка – то подозрения ФБР были внешне подтверждены. Власти США полагали, что Гитлер послал Стефанию фон Гогенлоэ, которую Бюро "характеризовало как чрезвычайно интеллектуальную, опасную и умную, а в качестве агента шпионажа опаснее десяти тысяч мужчин", для того, чтобы научить Видемана организовать шпионскую сеть. Только во время Второй мировой войны власти США осознали, что они очень ошибались относительно планов как бывшего адъютанта 16‑го полка, так и рыжеволосой венгерской аристократки.
Из искреннего отвращения к политике Гитлера, разочарования или чувства обиды после его понижения Видеман продолжал дистанцироваться от Гитлера после начала войны.