На посту секретаря ЦК Дмитрий Устинов, как и прежде, продолжал работать как минимум по 12 часов в день, часто выезжал на заводы и в разбросанные по всей стране военные части. В результате к середине 1970-х в стране не было ни одного человека, знавшего военную промышленность так же хорошо, как Устинов – один из ее основных создателей. И вскоре это сыграло с руководством СССР злую шутку. В марте 1976 года Дмитрия Устинова включили в состав Политбюро, а всего месяц спустя, после смерти главы Минобороны маршала А. А. Гречко, Брежнев при полной поддержке других членов ПБ назначил его министром обороны СССР. Решение было принято на заседании Политбюро еще 27 апреля 1976 года, прямо в день смерти Гречко.
Празднование 1 Мая на Красной площади. На трибуне Мавзолея: министр обороны СССР маршал Советского Союза Д. Ф. Устинов, генеральный секретарь ЦК КПСС, председатель Президиума Верховного Совета СССР Л. И. Брежнев, председатель Совета министров СССР Н. А. Тихонов. 1 мая 1981. [РИА Новости]
Для многих офицеров ВС СССР это назначение оказалось неожиданным, так как Устинов стал первым «гражданским» министром обороны – несмотря на наличие высокого воинского звания генерал-полковника инженерно-артиллерийской службы, полученного еще в 1944 году, кадровым военным он никогда не был, а действительная воинская служба его завершилась с разгромом басмачей в Туркестане еще в середине 1920-х.
Маршал Д. Т. Язов, в то время возглавлявший Главное управление кадров Минобороны, вспоминал, что на похоронах Гречко 29 апреля 1976 года не утихали разговоры о том, кто же станет новым министром. «
Однако уже вечером того же дня было объявлено, что новым министром обороны стал Дмитрий Устинов, которому в связи с этим было присвоено звание генерала армии. Еще через несколько месяцев, в июле 1976 года, Устинов стал маршалом, так как на тот момент именно это воинское звание соответствовало занятой им высокой должности.