В 1934–1935 годах Шпеер спроектировал грандиозный комплекс сооружений в зоне партсъездов в Нюрнберге, включая трибуну для партийных митингов (390 метров длиной и 24 метра высотой) – комплекс так и не был закончен, строительство прервала война. Также он спроектировал примерно в том же стиле проект немецкого павильона на Всемирной выставке в Париже в 1937 году, где тот получил Гран-при. Одновременно с 30 января 1934 года Шпеер – начальник отдела «Эстетика труда» в организации «Сила через радость», с 15 ноября 1935 года член Имперского сената культуры. Также он был начальником отдела в Штабе заместителя фюрера и ответственным за организацию массовых манифестаций. С 1935 года Шпеер занимался разработкой проектов перестройки (фактически новому строительству) Новой имперской канцелярии в Берлине. После подготовительных работ по сносу старых зданий в 1937 году начались строительные работы, которые продолжались до начала января 1939-го. Гитлер назвал этот проект «великим венцом немецкой политической империи». В 1938 году специалистов для обеспечения строительства камнем СС построили два концентрационных лагеря (в т. ч. созданный по предложению Шпеера лагерь Нацвейлер специализировался на добыче красного гранита). По распоряжению Шпеера рядом с концлагерем Ораниенбург был построен кирпичный завод, причем Шпеер заявил: «Евреи привыкли делать кирпичи, находясь в египетском плену». Шпеер предоставил СС крупный беспроцентный заем, который должен был возвращаться стройматериалами.
Летом 1936 года лично Гитлер поручил Шпееру разработку планов перестройки Берлина в нацистском духе, и 30 января 1937 года он был назначен на специально для него введенную должность генерального строительного инспектора столицы рейха (Generalbauinspektor für die Reichshauptstadt; GBI), с непосредственным подчинением фюреру. Разработанный в 1938–1939 годах генеральный план реконструкции Берлина предусматривал в качестве основы формирование двух пересекающихся в центре города осей: Запад – Восток и Север – Юг. В месте пересечения размещался гигантский Великий зал (Große Halle), Зал славы (Ruhmeshalle) или Зал народа (Halle des Volkes) – самое большое куполообразное здание в мире (высота 210 метров, вместимость—180 тысяч человек), которое соединялось осью Север – Юг с новым огромным «Южным вокзалом» в Берлине-Шёнеберге.
14 сентября 1938 года на одном из совещаний Шпеер предложил для решения квартирного вопроса в Берлине использовать «принудительное выселение евреев», что означало фактически лишение собственности. Результатом стал выход соответствующего распоряжения, по которому в последующем у евреев в Берлине было реквизировано 15–18 тысяч квартир. Составляемые в ведомстве Шпеера списки выселяемых евреев легли в основу списков берлинских евреев, депортированных в сентябре – октябре 1941 года в Ригу, где они в большинстве случаев были уничтожены.
Став одним из самых близких к Гитлеру человеком, Шпеер постоянно сопровождал его в поездках, а также жил в непосредственной близости от него (в т. ч. в имении Оберзальцберг). Фактически с 1934 года он был автором и руководителем практически всех важнейших строек в германской столице; кроме того, он прославился среди нацистского руководства тем, что умел так поставить дело, что завершал строительство в рекордно короткие, практически невозможные сроки. Осенью 1937 года он получил ранг обербефельслейтер в Имперском руководстве НСДАП, в 1938-м стал прусским государственным советником. 25 августа 1941 года он был избран депутатом Рейхстага от 2-го округа (Западный Берлин), место освободилось после смерти прежнего депутата Германа Крибеля.
После начала войны Шпееру было поручено руководство строительством для военных нужд, для чего в его подчинении создавался штаб строительных работ «Шпеер». Под его началом были созданы отряды быстрого реагирования для строительства дорог или расчистки завалов (вскоре они также стали использоваться для разминирования). Постепенно расширялась и его компетенция в области строительства, в сентябре 1939 года ему были поручены строительство и перестройка объектов военной авиационной промышленности, с сентября 1940 года также строительство объектов ПВО и устранение повреждений, нанесенных во время воздушных налетов. Служба Шпеера выполняла строительные работы для вермахта и СС по системе военных подрядов, что вскоре сделало Шпеера чрезвычайно богатым человеком.
