В прошлом Холодная Гора представляла собой лесную дачу, через которую проходила дорога на город Богодухов и Старо-Харьковский Куряжский монастырь. Эта дорога, или Холодногорское шоссе, рядом с которым в 1870-е годы шло продолжение улицы Екатеринославской, была улучшена в годы правления генерал-губернатора Сергея Александровича Кокошкина. В 1880-е и шоссе, и улица стали носить имя Екатеринославской, она разделяла Холодную Гору на 5-й и 6-й участки в полицейском отношении, когда 1 января 1890 года предместье Холодная Гора вошло в черту города. В первой половине XIX века Холодная Гора отделялась от города лесом, озерами, болотами, с проложением железной дороги в 1869 году именно она стала отделять предместье Холодная Гора.
Холодная Гора расположилась лицом к востоку, весь её фасад разрисован живописной панорамой предместий. Здесь всегда был свой особый город, со своими нравами и обычаями. Множество улочек и переулочков возникало и пропадало во второй половине XIX столетия, пока их не упорядочили (насколько это было возможно) городские власти. Приятно наблюдать за Холодной Горой из города, но ещё приятнее наблюдать за городом с Холодной Горы. Словно на огромном блюде, лежит Харьков, и среди моря белеющих домов с яркими крышами разноцветными силуэтами красуются храмы и колокольни.
Земли этой местности принадлежали государственным крестьянам г. Харькова и пригородной слободы Ивановки. Открытие на Холодной Горе в 1830-е годы кладбища для церковных приходов Дмитриевского, Христорождественского и Благовещенского храмов для Харькова, несомненно, стало постоянным связующим города и предместья. 11 октября 1841 года состоялась закладка на Холодногорском кладбище Всесвятской церкви, инициаторами её постройки выступили харьковские купцы Александр Скрынников и Фёдор Базилевский, которые собрали на постройку 10 000 рублей ассигнациями и строительных материалов на такую же сумму[166]. Проект храма составил профессор архитектуры Андрей Тон, окончен он был в 1844 году. Попечителем постройки был харьковский купец 1-й гильдии Пётр Никитович Кузин, он с отцом вложили в постройку 20 635 рублей, а на внутреннее убранство — ещё 50 000 рублей. С 1849 года во Всесвятской церкви был учреждён постоянный причт, по сути, это дало основание к появлению и своего церковного прихода. В 1857 году Всесвятский храм был расширен за средства помещицы Изюмского уезда, дочери полковника Софии Васильевны Глебовой, которая в память о своей матери устроила придел Святой Веры[167].
В 1844 году умер коммерции советник Кузьма Никитович Кузин, который был похоронен на Всесвятском кладбище, его супруга Екатерина Ипатьевна обратилась в 1846 году в Харьковскую епархию с просьбой устроить над его прахом каменную часовню по проекту архитектора Андрея Тона. Постройка обошлась ей в 4000 рублей серебром, закончена в октябре 1848 года[168]. С того времени кладбище называлось ещё Кузинским.
Вокруг кладбища формировались и первые улицы на Холодной Горе. На плане 1846 года мы видим улицу Кладбищенскую, переименованную в 1936 году в улицу большевика Матвея Муранова, в 2015-м она стала именоваться Озерянской. Продолжением Кладбищенской улицы была Всесвятская, которая в 1936 году переименована в Социалистическую, а в 2015-м — в Волонтёрскую. В конце Всесвятской в 1880-е годы у будущей Подолянской улицы было заложено еврейское кладбище. С другой стороны Всесвятского православного кладбища сформировалась улица Гиёвская, которая была пограничной между Холодной Горой и Лысой Горой.