Выйдя на свободу, Шпеер оказался в достаточно выигрышной ситуации – как уже говорилось, конфискация его имущества была отменена, и, таким образом, определенная финансовая подушка – даже не считая того, что при финансовой реформе его сбережения сгорели, – у него была. Он немедленно реализовал свою берлинскую недвижимость, поскольку оставаться в бывшей столице Германии не собирался. Это дало ему 150 тысяч марок, что по тем временам было очень даже солидным капиталом. Свое жилье у него имелось, и он вместе с семьей обосновался на семейной, построенной еще его отцом в 1905 году, вилле на окраине западногерманского Гейдельберга (по адресу Шлосс-Вольфсбруннервег, 50).
Упорная работа по написанию мемуаров довольно быстро принесла результат, возможно, даже такой, на который сам автор не надеялся. В 1969 году он выпустил в Берлине книгу мемуаров
Мемуары Шпеера почему-то считаются чуть ли не истиной в последней инстанции, и на них часто ссылаются, как на объективный источник. На самом же деле при их написании он преследовал одну-единственную целью: оправдать себя перед потомками и создать образ некого абсолютно аполитичного технократа, интеллектуала, талантливого организатора и заблудшего идеалиста, который никакого касательства к преступлениям нацистов не имел – и даже слыхом о них не слыхивал. На страницах своих книг Шпеер представляет себя как эксперта, который «просто исполнял свой долг», как трагического героя – Фауста, заключившего сделку с Мефистофелем и за это поплатившегося. Например, в телеинтервью после своего освобождения в 1966 году он заявил, что ничего не знал о массовых убийствах евреев и других меньшинств во время немецкой оккупации, и это при том, что 6 октября 1943 года он присутствовал на совещании в Позене, где в своей знаменитой речи рейхсфюрер СС открыто говорил об «окончательном решении еврейского вопроса». Сегодня в работах серьезных историков вся та ложь, которую нагромоздил Шпеер в своих мемуарах, полностью разоблачена. Кстати, отметим, что после выхода этих мемуаров от Шпеера отвернулись многие друзья и знакомые, в т. ч. и верный Рудольф Вольтерс. Не смог он наладить отношения и с детьми, включая сына Альберта, который также стал архитектором. С супругой он отношения сохранил и до конца жизни их брак со стороны казался довольно крепким, но в 70-летнем возрасте у Альберта Шпеера завязался роман с немкой, постоянно проживавшей в Лондоне…
Освободившись, бывший главный архитектор Третьего рейха и автор грандиозных проектов, вроде перестройки Линца и строительства новой столицы Великой Германии, довольно самоуверенно заявил, что собирается продолжить карьеру архитектора и зарабатывать на жизнь своим талантом. Однако оказалось, что его услуги абсолютно не востребованы: единственный проект, который он «замутил» после выхода из тюрьмы, – сотрудничество с одной пивоварней, – полностью провалился.
