После гибели Фрица Тодта Шпеер был 9 февраля 1942 года назначен имперским министром вооружений и боеприпасов, руководителем «Организации Тодта», генеральным инспектором германских дорог, генеральным инспектором крепостного строительства, а также генеральным инспектором водных и энергоресурсов, с сохранением за ним всех его прежних постов. Кроме того, 1 марта он был назначен уполномоченным по вопросам вооружения в Ведомстве четырехлетнего плана. За короткое время Шпееру удалось реорганизовать и значительно упростить процесс производства вооружений, резко увеличить производительность германской промышленности, мобилизовав ее на производство вооружений. Пользуясь неизменной поддержкой Гитлера, Шпеер сконцентрировал в своих руках руководство практически всей промышленностью Германии. 2 сентября 1943 года его ведомство было переименовано в Имперское министерство вооружений и военного производства с одновременным значительным расширением его компетенции. Фактически Шпеер стал диктатором военной экономики, сведя на нет влияние Имперского министерства экономики, Управления по четырехлетнему плану и др. Была организована система комитетов и комиссий, отвечавших каждый за свой вид вооружений, для распределения сырья создано межведомственное Управление планирования. В то же время заявления Шпеера о взрывном росте производства вооружений были упорно созданным им самим мифом, и в целом темпы роста промышленности в сферах, не контролируемых Шпеером, были практически такими же, что и в его ведомстве.
Созданная им к 1944 году система функционирования военного производства в значительной степени основывалась на использовании подневольного труда иностранных рабочих (прежде всего остарбайтеров, но также и вестарбайтеров), а также военнопленных и заключенных концентрационных лагерей. В августе 1944 года число иностранных рабочих достигло 7,6 миллиона человек, а всего, по ряду оценок, оно составило 13,5 миллиона, при том что за 1939–1945 годы погибло около 490 тысяч иностранных гражданских рабочих (без учета военнопленных и узников концлагерей). Фактически именно ведомство Шпеера субсидировало мероприятия СС по расширению системы концлагерей в целом и отдельных лагерей в частности, так, он выделил на расширение и более активное использование рабочей силы в концлагере Освенцим 13,7 миллиона рейхсмарок.
Шпеер предпринимал неоднократные попытки усилить роль Имперского кабинета за счет партии, но это вызвало как возражения Гитлера, так и крупные разногласия с высшим руководством НСДАП и гаулейтерами. Тем не менее ему удалось добиться запрещения Мартину Борману вмешиваться в кадровую политику министерства. В июле 1943 года Шпеер получил полный контроль над новой программой кораблестроения, летом 1944-го – над производством вооружения для люфтваффе.
Зимой 1943/44 года Шпеер тяжело заболел от переутомления и всю весну не мог исполнять свои обязанности; только 8 мая он вернулся в Берлин и вновь приступил к работе. После покушения на Гитлера 20 июля 1944 года вмешательство партийных органов и СС в действия Шпеера вновь усилилось, причем одновременно отношения между ним и Гитлером стали более прохладными. Этому способствовало то, что были обнаружены документы, в которых участники заговора планировали в случае успеха сохранить Шпеера в составе правительства. Хотя ему удалось оправдаться, но осадок остался. Шпеер действительно ничего не знал и никогда не поддерживал никаких связей с заговорщиками; и если после войны он заявил, что чуть ли не готовил покушение на Гитлера (собираясь пустить газ в фюрер-бункер по системе вентиляции), то это была откровенная ложь.
