Инициатором организации отдела был цесаревич Александр Александрович. В обращении, опубликованном во всех газетах «От имени Его Императорского высочества наследника цесаревича Александра Александровича ко знающим что-либо о севастопольской защите», содержалась просьба ко всем, кто владел «достоверными знаниями о севастопольской защите, прислать на его имя все то, что он знает, помнит и может написать о защите Севастополя».
Обращение цесаревича заканчивалось словами: «Веденные во время осады дневники, записки, воспоминания и письма о севастопольской обороне, простой рассказ мельчайшего эпизода ее, или подвига, или того, что кто-либо помнит как очевидец, без стеснения формами и формальностями, вот что нужно. Одно лишь условие должно быть свято соблюдено — это истина. Написанное каждый пусть отправит по следующему адресу: Его Императорскому Высочеству, Наследнику Цесаревичу, в собственные руки. В С.-Петербург. От Севастопольца…»
Во время Политехнической выставки ее устроители обратились к Александру II с предложением создать на основе материалов выставки Музей отечественной истории. Император согласился и предложил Александру Александровичу, который уже не раз высказывался о необходимости такого музея, стать его покровителем — почетным председателем Музея отечественной истории. Этот музей и стал прообразом Исторического музея.
В документе об учреждении Исторического музея говорилось: «Этот храм, воздвигнутый во славу вековой жизни русского народа, должен собрать воедино со всех концов земли Русской заветные святыни народа, памятники и документы всего Русского государства, изобразить в образах и картинах имена великих подвижников и деятелей и знаменательнейшие события; живым словом раскрыть перед народом славные страницы его истории. И события великого прошлого, деяние предков наших предстанут как бы воочию перед тысячами людей, разнесутся молвою по всему обширному Отечеству нашему, перейдут к детям и внукам нашим».
Несмотря на все усилия, дело создания Исторического музея продвигалось очень медленно. По свидетельству С. Д. Шереметева, многие «относились к делу пренебрежительно. С самого начала дело переходило из одних случайных рук в другие, пока не примкнул к нему граф А. С. Уваров».
Музей создавался в условиях противоборства разных точек зрения на историю России.
Организационный комитет после получения в феврале 1872 года высочайшего разрешения на учреждение в Москве Музея имени Его Императорского Высочества государя наследника цесаревича Александра Александровича, был преобразован в управление музея. В январе 1873 года были приняты «Общие основания музея». Определилась цель — «служить наглядной историей», для чего «будут собираться все памятники знаменательных событий истории Русского государства».
В 1874 году была сформирована ученая комиссия во главе с графом Алексеем Семеновичем Уваровым для разработки организационных и научных вопросов, выявления памятников и отбора экспонатов. В комиссию вошли: один из основателей отечественной школы источниковедения Константин Николаевич Бестужев-Рюмин, археолог и специалист по истории города Москвы Иван Егорович Забелин, известный критик норманнской теории Дмитрий Иванович Иловайский, историки Василий Осипович Ключевский, Сергей Михайлович Соловьев и др. Тогда же был создан строительный комитет и объявлен конкурс на лучший проект музейного здания.
В августе 1874 года был утвержден первый музейный устав, составленный А. С. Уваровым. Музей был определен как общественное учреждение с широкими научными и просветительными целями.
Цесаревич Александр Александрович писал своему брату великому князю Сергею Александровичу: «Жду теперь твоего письма о Московском историческом музее. Очень досадно, что дела так запутались, и надо непременно помочь этому делу и привести все в порядок, в чем я надеюсь очень на тебя, что ты мне поможешь в этом». Но только личное участие самого цесаревича, его настойчивость, посещения и вклады позволили избежать застоя.
Вскоре появился проект здания музея. Архитектор Владимир Осипович Шервуд и инженер Анатолий Александрович Семенов предложили построить высокое краснокирпичное здание в русском стиле. Упорство Александра Александровича давало свои плоды. Работы по возведению здания на Красной площади начались в 1875 году.
