Не способствовало росту авторитета Шираха и выдвижение вздорных (хотя и в духе времени) проектов типа выселения из Вены всех славян и превращения ее в «германский город». Он оказался причастным к высылке из Вены оставшихся здесь 185 тысяч евреев в Генерал-губернаторство, хотя в принципе его согласия на это не требовалось. Тем не менее он активно поддержал эти меры и, выступая с речью 14 сентября 1942 года, заявил: «После депортации десятков тысяч людей из этого города в восточные гетто я должен сказать: я рассматриваю это как активный вклад в европейскую культуру». И, конечно же, он ни в коем случае не препятствовал применению подобных мер. Как и всякий гаулейтер, Ширах получал и различные звания и должности: президента Великогерманского общества библиофилов (с 28 сентября 1941), члена сената Германской академии (с 29 июня 1942). Наконец, при очередной реорганизации рейха он, как и все гаулейтеры, 16 ноября 1942 года стал имперским комиссаром обороны своего гау.
Между тем отношения Шираха и Гитлера начали стремительно портиться. Большую роль сыграл скандал, произошедший в Бергхофе 24 июня 1943 года. Тогда Генриетта фон Ширах возмущенно рассказала Гитлеру о депортации евреек, свидетелем которой она стала в Амстердаме. Гитлер пришел в ярость: «Вы сентиментальны… Какое отношение к вам имеют евреи в Голландии? Вы должны научиться ненавидеть…» Тем более что накануне в разговоре с фюрером Бальдур заикнулся о том, что войну необходимо остановить. Теперь Гитлер буквально выгнал Ширахов из зала. Больше их никогда не приглашали в Бергхоф. Припомнили и неосторожные высказывания Бальдура о перемещении оружейных заводов в Вену, о создании автономной Украины и др. Йозеф Геббельс записал в дневнике: «Фрау фон Ширах в особенности ведет себя как глупая индейка… Фюрер не хочет больше знать Шираха. Ширах – слабак, болтун и идиот, когда дело доходит до глубоких политических вопросов. Он скорее выгнал бы его из Вены раньше, чем позже, если бы только у него был преемник».
25 сентября 1944 года Ширах, как и все гаулейтеры, автоматически стал командующим частями фольксштурма в своем гау. Современники отмечали, что он чрезвычайно боялся воздушных налетов и всякий раз, когда начинали реветь сирены воздушной тревоги, прерывал любые совещания и разговоры и стремительно несся в свой подземный «Командный центр гау в Вене» (Gaugefechtsstand Wien). В конце осени 1944 года он отправил своих детей, а затем и жену в замок Аспенштейн, куда вскоре перевез и коллекцию награбленных произведений искусства.
24 февраля 1945 года Гитлер собрал гаулейтеров в Имперской канцелярии (вернее в фюрер-бункере), прибыл сюда и Бальдур фон Ширах. Это была его последняя встреча с фюрером, на которой последний отдал приказ оборонять Вену до последнего человека. Ширах отбыл исполнять приказ. Когда советские войска уже были в венском районе Хюттельдорф, он 4 апреля эвакуировал свой командный пункт из Галлицинберга в Оттакринге, затем 6 апреля, после того как в его бункере под виллой отключили свет, перебрался в Хофбург. 9 апреля, отдав в последний раз приказ «сражаться до последнего», Ширах бежал во Флоридсдорф, где находился штаб II танкового корпуса СС. Еще три недели он служил обычным лейтенантом в качестве офицера связи командующего штаба 6-й танковой армии Зеппа Дитриха при командире корпуса, а 1 мая уехал в Гмунден. После того как пришло известие о самоубийстве Гитлера, он бежал на запад вместе со своим адъютантом Фрицем Висхофером и шофером Францем Рамом. Когда у них кончился бензин, Ширах сорвал погоны, снял военную форму, отпустил усы и превратился в писателя-детективщика Рихарда Фалька.
Пока он скрывался в Тироле и даже некоторое время работал переводчиком при частях американской армии, все считали его погибшим и даже рассказывали – чуть ли не как очевидцы – историю о том, как его повесили «благодарные» жители Вены… 4 июня фон Ширах сдался американским властям и был арестован 103-м отрядом контрразведки. В августе его перевели в американский лагерь в Оберурзеле, где он подписал декларацию о том, что несет ответственность за создание Гитлерюгенда до 1940 года и считает себя ответственным за организацию вплоть до конца войны. 10 сентября Бальдура фон Шираха доставили самолетом в Нюрнберг.
