И. Е. Забелин пишет, что церковь была деревянной до 1651 года, а «в этом году было повелено соорудить ее каменную, но исполнилось ли это повеление, неизвестно». Дореволюционные справочники датируют храм 1651 годом, указывая, что соорудил его боярин Илья Милославский, отец царицы Марии Ильиничны. К концу XVII века церковь уже была, во всяком случае, выстроена в камне: в 1692 году она была «возобновлена» на средства царицы Натальи Кирилловны Нарышкиной и царевича Алексея Петровича, матери и сына Петра I. 4 декабря 1692 года храм освятил патриарх Адриан. Весьма любопытно и то, что церковь пользовалась покровительством цариц и их родственников, и то, что заботились о ней в разное время Милославские и Нарышкины, представители двух соперничавших кланов, родственников первой и второй жен царя Алексея Михайловича. Возможно, соперничество проявилось и в заботах о храме: церковь, выстроенную Милославскими, обновила и переосвятила Нарышкина.
В Константино-Еленинской башне, как известно, находился кремлевский пыточный застенок, и историки XIX века предполагали, что в храм Константина и Елены «были приводимы уличенные в преступлении к присяге и увещанию, прежде чем отводились в застенок для пытки». Вокруг церкви в XVII–XVIII веках располагались дворы служителей кремлевских соборов во главе с протопопом Успенского собора. Для них храм Константина и Елены был приходским. Дворы примыкали к церкви так тесно, что алтарь и заборы разделяли всего три сажени (около 6 метров). Разобраны эти дворы были в 1769–1773 годах в связи с предполагавшимся строительством Кремлевского дворца В. И. Баженова, которое привело бы и к сносу храма, но не состоялось. Утратив прихожан, церковь была приписана к Вознесенскому монастырю. Было рядом с храмом и кладбище, дожившее до екатерининских времен.
В Троицкий пожар 1737 года храм Константина и Елены обгорел снаружи и внутри, но был возобновлен архитектором И. Мичуриным. В 1756 году в храме обновили интерьер: иконостас, стенопись и всю внутреннюю отделку. Ремонтом занимался известный архитектор русского барокко, князь Д. В. Ухтомский. Видимо, обновление храма происходило и в 1800-е годы, поскольку в то время вся старинная утварь и иконы Константино-Еленинской церкви были куплены у дворцового ведомства купцом-старообрядцем И. Ковылиным, основателем Преображенского кладбища в Москве, которое он неустанно украшал древними раритетами.
В 1812 году, после наполеоновского пожара Москвы, в подвалах церкви нашли пристанище десятки горожан, потерявших крышу над головой. Храм был разорен и в 1817 году приговорен духовными властями к сломке по ветхости. Бесприходная церковь не имела средств к восстановлению. Однако ломать храм не стали, так как светские городские власти собирались просить у императора средства на восстановление приписных церквей. Четверть века храм бездействовал, но в конце концов император Николай I распорядился возобновить его. После ремонта храм был освящен в сентябре 1837 года митрополитом Филаретом. На рисунках середины XIX века к востоку от храма видна небольшая часовенка. В 1874–1892 годах настоятелем храма Константина и Елены был известный проповедник и духовный учитель того времени о. Валентин Амфитеатров, которого народ называл «московским утешителем». С XVIII века до самого 1917 года церковь Константина и Елены была ружной, т. е. получала содержание из государственной казны.
Изображения храма вошли во многие известные панорамы Кремля и Замоскворечья, например, П. Пикарта (1707–1708), М. Махаева (1763), О. Кадоля (1830-е гг.), Ж. Акари Барона (1845–1846), Д. Индейцева (1850). Несмотря на перестройки, церковь сохраняла облик архитектурного памятника конца XVII века. Она слегка кренилась к югу, но падением не угрожала. Одноглавая, с вытянутой тонкой шейкой-барабаном над зеленой четырехскатной кровлей, она живописно смотрелась на фоне краснокирпичных кремлевских стен. Интересен был ее поперечный четверик — ширина церковного здания была больше его длины. Достаточно редкой была и столпообразная колокольня, заподлицо встроенная в трапезную. При храме был придел во имя св. Николая, с южной стороны. Пятиярусный иконостас относился к концу XVII века; в церкви хранилась редкая икона с изображением 150 явлений икон Богоматери. Иван Шмелев вспоминает в «Лете Господнем» виденные в детстве на крестном ходе хоругви церкви Константина и Елены — «легкие, истершиеся, золотцем шитые по шелкам, царевен рукоделья».
