Великая депрессия и связанные с ней безработица и нищета привели к радикализации общества. Виновником своих бед массы людей считали Гувера, который обещал им продолжение процветания, но обманул. На окраинах городов возникали поселения бездомных и неимущих, сооруженные из обломков деревянных и металлических конструкций и даже картонных коробок. Их называли «гувервиллями». Термины множились: газеты, которыми укрывались на ночь здешние обитатели, называли «гуверовскими одеялами», а диких кроликов, которых ловили для употребления в пищу, — «гуверовскими поросятами». С 1931 г. на улицах крупных городов появились «суповые кухни», ими пользовались, но они вызывали раздражение толпы.
Радикальные настроения обострились еще больше, когда в мае 1932 г. в Вашингтоне с санкции президента была разогнана «бонусная армия» ветеранов мировой войны, которые требовали выплаты им злосчастных бонусов за участие в войне. На лагерь ветеранов на окраине города были двинуты регулярные войска, и просто чудо, что в возникшей суматохе погибли лишь несколько человек.
Удивительно, но Гувер решился идти на выборы в 1932 г. На съезде Республиканской партии в Чикаго в начале июня он был единодушно выдвинут вновь по той простой причине, что партия не имела никого, кто пожелал бы взять на себя ответственность в эти тяжкие времена. Удивительно и то, что республиканцы, скорее всего лицемерно, на съезде твердили о грядущей победе. Видный журналист Генри Менкен оценил съезд как собрание «самое глупое и бесчестное, которое я когда-либо видел».
Выборы, на которых кандидатом демократов стал губернатор штата Нью-Йорк Франклин Рузвельт, оказались для Гувера неудачными. Он получил 39,7 % голосов. Но в избирательной коллегии за Рузвельта голосовали 472, а за Гувера — всего 59 выборщиков. Он добился преимущества только в нескольких северо-восточных штатах и в крохотном Делавэре.
После отставки Герберт Гувер еще более 20 лет вместе с супругой жил в Пало-Алто. После ее смерти в 1944 г. он переехал в Нью-Йорк, где его постоянной резиденцией стали апартаменты в фешенебельном отеле «Уолдорф Астория» (
Отношение Гувера к нацистской Германии и ее агрессивной политике было двойственным. В 1938 г. во время путешествия по Европе он посетил Адольфа Гитлера, а затем принял приглашение Германа Геринга погостить в его охотничьем имении. Однако в следующие годы он стал заявлять, что Гитлер — просто сумасшедший и не представляет опасности для США. Когда же началась Вторая мировая война, Гувер выступил против участия в ней США и против помощи странам, воевавшим против Германии и Японии. В особенности это касалось Советского Союза: любые формы сотрудничества с СССР в войне Гувер называл трагедией, которая может привести только к расширению мирового коммунизма.
Отношения с высшей властью несколько улучшились, когда президентом стал Гарри Трумэн. По его просьбе Гувер совершил поездку по оккупированной американской армией части Западной Германии, а затем дал Трумэну рекомендации по вопросам восстановления хозяйства оккупационной зоны. По поручениям администрации Трумэна, а затем Эйзенхауэра Гувер возглавлял комиссии по проверке работы правительственных ведомств и рекомендовал меры по укреплению централизованной власти, которую считал теперь необходимой в связи с наступлением «атомной эры».
Несмотря на пожилой возраст, Гувер много писал. В числе его публикаций были не только воспоминания, но и книга о Вудро Вильсоне — единственная в американской истории работа о президенте, написанная другим президентом. Он участвовал во всех съездах Республиканской партии, причем, начиная с 1952 г., трижды выступал на съездах с «прощальным словом», обращенным к однопартийцам. В 1960 г. он начал выступление словами о том, что его предыдущие два прощальных слова «не сработали» — то есть он еще жив и способен выступать. Держался он до последнего. В 1962 г. ему удалили злокачественную опухоль кишечника. Вскоре после этого произошло тяжелое внутреннее кровотечение. Его ум оставался живым. Почти до последних дней жизни он вел обширную корреспонденцию. В съезде 1964 г. Гувер уже участвовать не был в состоянии. Он скончался 20 октября того же года от внутреннего кровоизлияния на 91-м году жизни.
Еще при жизни Герберта Гувера стало восстанавливаться его доброе имя. Связанные с его деятельностью места объявлялись памятниками национального значения.
В 1962 г. в городе Вест-Брэнч (штат Айова), где он родился, была открыта Библиотека Гувера, являющаяся одновременно его архивом и музеем, посвященным его жизни и деятельности. Гувер был похоронен на ее территории, сюда же были перенесены останки его жены.
