Со Святодуховским кладбищем связана история и Святодуховской церкви. В 1841 году поручик Василий Римский-Корсаков и купец Прокофий Искра просили построить новую трёхпрестольную церковь на Конной площади с наименованием Вход в Иерусалим Христа Спасителя. В приход предполагалось включить 490 прихожан с окрестных хуторов: Немышлянский, Глубокий Яр, он же Шевченко, Рыжий и Клеменов. Однако только в 1847 году поступило разрешение на строительство храма, а до этого в 1845 году была лишь временная деревянная церковь по проекту архитекторского помощника Колодяжного. Одним из деятельных участников строительства храма был священник Пётр Наседкин, а купец Адриан Лукин выделил средства для устройства иконостаса (5714 руб. серебром). 10 декабря 1854 года храм был построен, но полностью окончен только на следующий год благодаря бердянскому купцу 1-й гильдии, который вложил на украшение храма 13 000 руб. серебром и был награждён медалью. Архиепископ Филарет освятил Святодуховскую церковь 12 декабря 1855 года. Зачинщик постройки дворянин В. Римский-Корсаков был награждён орденом Святой Анны III степени и по смерти похоронен вместе со священником Наседкиным в склепе под колокольней храма.
В 1901 году прихожане решили устроить новую каменную колокольню по проекту архитектора М. Ловцова. Правда, в незаконченной колокольне в 1904 году обрушились своды вследствие сырой и дождливой погоды[134], хотя епархиальный архитектор В. Немкин говорил об отступлении от проекта. Новую четырёхъярусную колокольню окончили в 1907 году и освятили во имя Василия Великого 30 июня того же года[135].
К 1875 году на Конной площади был сформирован Конный рынок, чрезвычайно грязный и неухоженный, и только к 1896 году его привели в порядок, построив в 1894-м лавки, как и на Благовещенском базаре. Торговля здесь расширилась за счёт того, что была проведена линия Харьков-Балашовской железной дороги.
Сюда же на Конную площадь в начале 1890-х годов перевели и народные гуляния, здесь праздновали коронацию императора Николая II. В зимнее время казаки Оренбургского казачьего войска, расквартированного в Харькове, устраивали снежные городки, которые защищала пара смешанных сотен, а наступление велось четырьмя сотнями. На башне развевались пики с билетами ценных призов для удачливых казаков: сереб-ряные и никелевые часы, мундиры нового образца. К удовольствию местных жителей, устраивали джигитовку.
С 1902 года Городская дума приняла решение о создании на территории Конной площади городского сквера, включавшего часть площади, примыкающей к Старомосковской улице, сквер у Святодуховской церкви и сквер у Народного дома. Посадка саженцев здесь была очень затруднена, ведь почва почти столетие утрамбовывалась в ярмарочные и торговые дни, так что рабочим приходилось работать больше не лопатой, а ломом.
В 1925 году Конная площадь была переименована в площадь Восстания, в память о выступлении харьковских рабочих в 1905 году. С 2015 г. именуется площадью Защитников Отечества.
Строительство Балашовской железной дороги привело к тому, что к 1896 году были проложены новые улицы: Старобельская, Лебединская, Кремлёвская, Тарасовская, Пензенская, Тамбовская, Воронежская, Фесенковская, Клеменовская, Пороховая, Чугуевская, Корсаковская и Крайняя.
Старобельская улица до 1895 года носила имя Рогожинская, а в 1950-м получила имя летчика Николая Храмова. Лебединская улица (на ней был расквартирован Лебединский полк) осталась с этим именем до наших дней. С прежним именем остались Фесенковская, Кремлёвская, Чугуевская, Тарасовская улица и переулок, Клеменовская улица и переулок, Власовский переулок. Другие же (Пензенская, Воронежская, Тамбовская, где располагались одноимённые расквартированные на них полки) на сегодняшний день исчезли.
Между Молочной, Петинской и Кремлёвской улицами в начале 1860-х годов были сформированы Мурмыловский переулок и три Мурмыловских въезда. Имя они получили он проживающих здесь крестьян по фамилии Мурмыл (Мурмыло). Уже на плане 1924 года они были переименованы в честь рабочего Харьковского паровозостроительного завода Максима Сапельника, который был убит в 1919 году.