1 февраля 1935 года Гитлер отдал приказ о начале строительства подводных лодок, а в марте объявил об одностороннем отказе выполнять военные положения Версальского мира. Бывшие подводники с опытом ведения военных действий сразу же оказались востребованными и 27 сентября 1935 года Дёниц получил пост командира подводной флотилии
К началу мировой войны в сентябре 1939 года в его распоряжении было 56 подводных лодок, из которых лишь 22 были приспособлены для ведения военных действий на океанских коммуникациях. Сам Дёниц к этому времени был уже командором и вскоре после начала войны – 1 октября 1939 года – стал, наконец, контр-адмиралом. С 19 сентября 1939 года Дёниц стал именоваться командующим подводным флотом (Befehlshaber der Unterseeboote; BdU) – этот пост он занимал до самого конца войны. Лодки Дёница начали войну против союзников, потопив в течение месяца корабли противника общим водоизмещением 175 тысяч тонн. Он лично спланировал операцию по уничтожению линкора
Дёниц не поддержал идею Рэдера и ОКМ о проведении операции против Норвегии, считая, что основные усилия подводного флота должны быть направлены на уничтожение торговых судов противника на его основных коммуникациях. Но точка зрения Рэдера победила, и операция
Дёниц пользовался огромной популярностью и непререкаемым авторитетом среди подводников, всегда лично встречал каждую возвращавшуюся на базу лодку, устраивал подводников в лучшие санатории для восстановления сил после плавания. Среди офицеров подводного флота он получил прозвища «Папа Карл» и «Лев». В течение 1941 года германский подводный флот добился исключительных успехов, поставив союзников, прежде всего Великобританию, в невыносимые условия. После вступления в войну США Дёниц 15 января 1942 года отдал приказ топить также и американские корабли. Только в январе 1942 года было потоплено 303 корабля водоизмещением около 330 тысяч тонн.
Тем временем Рэдер и его надводный флот окончательно утратили доверие Гитлера, и тот решил сделать ставку на неограниченную подводную войну. Вопрос о преемнике напрашивался сам собой, тем более что кандидатуру Дёница поддержали такие приближенные фюрера, как Альберт Шпеер и военно-морской адъютант Франц фон Путткамер. 30 января 1943 года Дёниц был назначен главнокомандующим ВМФ Германии и одновременно произведен в гросс-адмиралы – причем минуя чин генерал-адмирала прямо из адмиралов (этот чин Дёниц получил 14 марта 1942 года).