Для претворения в жизнь этой зародившейся еще до пожара идеи Петр назначает руководителя царских живописцев Ивана Салтанова, опять-таки живописца Михайлу Чоглокова (у которого брал сам уроки рисунка и живописи) и приехавшего из-за рубежа «мастера каменного и полатного дела» поляка Кшиштофа Конратовича, часто называемого на немецкий образец Христофором Конрадом. Принимал участие в создании Арсенала и строитель Дмитрий Иванов. Документы не позволяют установить степени участия каждого из них в строительстве. Но во всяком случае, художникам в Древней Руси случалось выступать в роли архитекторов. По свидетельству Епифания Премудрого, Андрей Рублев, например, участвовал в строительстве церкви Всемилостивого Спаса в Андрониковом монастыре в Москве, который затем сам же и расписывал. Симон Ушаков был соавтором ряда кремлевских построек. Михайла Чоглоков перед самым началом работ в Арсенале закончил достройку переделанной под Математические и Навигацкие классы (будущая Морская академия) Сухаревой башни.
С другой стороны, приглашение К. Конратовича было связано с очередными техническими новинками, за которыми с неослабевающим интересом следила Москва. Строитель обязывался научить русских каменщиков новым способам кладки, в том числе особенно интересовавшей Петра I огнеупорной кладки. Характерно, что даже общее руководство строительством оказалось в руках человека нового времени — дьяка Алексея Курбатова. Крепостной Б.П. Шереметева, он за предложенную в январе 1699 г. идею выпуска гербовой бумаги — нового и очень существенного источника дохода для государства — был освобожден из крепостного состояния, пожалован в дьяки и назначен руководить Оружейной палатой, в обязанности которой теперь вошло производство и продажа этой бумаги для документов.
Начатое весной 1702 г. строительство Арсенала затянулось почти до конца столетия. Первый перерыв был вызван трудностями, порожденными войной со шведами, — в течение 1706—1722 гг. никаких работ вообще не производилось. В дальнейшем вплоть до 1730 г. возобновленное строительство велось крайне медленно из-за постоянной нехватки средств: все внимание правительства сосредоточивалось на новой столице на берегах Невы. Только сооружение в Кремле дворца для императрицы Анны Иоанновны, который выходил фасадом к месту затянувшегося строительства, вызвало царский указ о скорейшем завершении работ. В 1736 г. здание было закончено, а годом позже стало жертвой очередного московского пожара. Выгоревший остов Арсенала простоял до 1763 г. Начатое тогда же восстановление завершилось в 1787 г. под руководством инженера Герарда. В связи с событиями Отечественной войны 1812 г. здание существенно пострадало и было восстановлено в течение 1816—1828 гг.
Могучий объем здания делится на нижнюю, цокольную, часть, отделанную рустом, и верхний этаж, прорезанный сдвоенными окнами в глубоких откосах, подчеркивающих массивность стен. Двое оформленных портиками ворот, ведущих в обширный внутренний двор, подчеркивают центр архитектурной композиции. По первоначальному замыслу зодчих, в решении фасадов широко использовались живопись и цвет. Сплошная роспись первого этажа имитировала крупные граненые камни. Для верхнего этажа К. Конратович предлагал в 1720-х гг. изображение увитых виноградными лозами колонн. Это впечатление мощи и вместе с тем особенной нарядности, праздничности как нельзя больше отвечало двойной роли Арсенала — как хранилища и как памятника.
С самого начала строительства Арсенала — «Оружейного дома» специальными указами предписывалось свозить в Кремль все наиболее значительные образцы захваченных у неприятеля на поле боя орудий. Начавшее формироваться собрание располагалось частично на Красной площади у Спасских ворот. В 1786—1788 гг. орудия были размещены на бровке холма Ивановской площади. После 1812 г. возникает идея устройства в Арсенале музея Отечественной войны, и кремлевская коллекция пополняется еще 875 орудиями, захваченными у наполеоновских войск. Музей открыт не был, но орудия, представляющие военную технику всех европейских стран начала XIX в., так и остались в стенах Кремля.
Сегодня перед фасадами Арсенала развертывается своеобразная выставка по истории русского и иностранного огнестрельного оружия — 25 русских пушек XVI—XVII вв., 15 западных пушек того же периода, русские орудия XVIII столетия, 830 пушек и гаубиц из числа трофеев Отечественной войны 1812 г. Орудия работы русских мастеров в свое время служили для обороны Кремля, размещаясь на специальных площадках — раскатах и в этажах кремлевских башен.
Здесь две пушки Андрея Чохова, отлитые им в 1590 г.: «Троил» с изображением фигуры вооруженного троянского царя и «Аспид» с изображением на дульной части чудовища, держащего в лапах человеческие головы. Пушечным мастером Первым Кузминым отлита бронзовая пушка «Онагр», или «Единорог» (1581).