Дворовыми местами в Холодногорском переулке владели государственные крестьяне, постройки типичны для большинства крестьян: деревянный дом, часто обложенный кирпичом, пара амбаров, конюшня, ледник, погреб, в большинстве случаев сад и огород. Одно из таких домовладений принадлежало государственному крестьянину Ивану Трофимовичу Борзому (1799 г. р.), его предки ранее носили фамилию Борзиленко. Дом по Холодногорскому переулку № 6 построил Данила Иванович Борзый, а после им владел его сын Андрей. В 1868 году дом у Данилы Борзого арендовал бывший крепостной крестьянин из Тамбовской губернии Михаил Тимофеевич Лаврентьев (1834 г. р.). Он переехал в Харьков со своей семьёй и занимался организацией буфетов в садах развлечения для публики. В 1868 году арендовал у владельца Основы Андрея Валериановича Квитки рощу, куда с 1870 года три дня в неделю отдельный железнодорожный состав возил горожан для отдыха.
Однако известен Лаврентьев не этим: он является одним из первых воздухоплавателей Российской империи, первый раз в Харькове он поднялся на собственном аэростате 28 апреля 1874 года, а 16 июня того же года — на втором своём аэростате с собственным именем «Харьковъ». На нём же он ещё дважды поднимался в воздух в Харькове, а потом ещё 6 раз в Одессе, Ростове-на-Дону, Таганроге и Москве, достигая высоты 2500 м. Это было не просто увлечение, а жизненная необходимость, ведь Михаил Лаврентьев этим зарабатывал на жизнь своей семье, в которой было пятеро детей. Потеря аэростата не смутила воздухоплавателя, он собирал деньги на новый аэростат, который, как и предыдущие, делал собственными руками. Решение о строительстве нового аэростата ускорило приглашение его инженером Главного штаба Российской армии полковником Петром Александровичем Клиндером, издателем журнала «Воздухоплаватель» для серии испытательных полётов в Санкт-Петербурге в 1881 году. Чтобы заработать деньги на доставку аэростата в столицу, Лаврентьев испросил разрешение у харьковского губернатора на полёт аэростата в Харькове из сада Тиволи на Пасху 1881 года. Финансово ему помогали артисты харьковских театров, земляки, неравнодушные горожане. После полётов в Петербурге Михаил Тихонович Лаврентьев работал в курортных городах, а его семья некоторое время ещё жила в Харькове. Умер воздухоплаватель в 1907 году.
Здание семинарии на Холодной Горе было построено после того, как в 1836 году из городской выгонной земли было отмежёвано 10 десятин 2352 квадратных сажени, а в 1844—1845 гг. по проекту архитектора Андрея Тона был построен главный корпус (трехэтажное здание с подвалом). В здании располагались учебные помещения, домовая Иоанно-Богословская церковь (освящена в 1849 году), библиотека, общежитие семинаристов, домовая больница. В последующие годы построены флигели для преподавателей, трёхэтажный корпус для семинаристов, баня, больница и водокачка. На участке были также огород и ботанический сад. С 1921-го по 1938 год в комплексе размещалась Школа Червоных старшин, преобразованная в Харьковское артиллерийское училище. В годы Второй мировой войны большинство зданий были разрушены, восстановленные основные корпуса послужили для организации в бывших семинарских зданиях Высшего военного авиационного инженерного училища.
Вдоль линии железной дороги к Большой Гончаровской шла улица Сериковская, получившая имя то ли от харьковских купцов Сериковых, то ли от проживающего здесь государственного крестьянина Алексея Серикова. В 1894 году улица была переименована в Карповскую (шла к Карповскому саду). С 1936 года улица Карповская получила имя Петра Слинько, в 1941—1943 годах она вновь стала Карповской и с тех пор осталась с этим названием.
Параллельно Екатеринославской шла улица Усовская, от проживающего здесь купца Дмитрия Лаврентьевича Уса, который торговал мукой, с 1968 года улица носит имя Гвардейцев железнодорожников, в честь подвигов 1-й гвардейской Варшавской железнодорожной бригады, сформированной в Харькове в 1941 году.
Между Усовской и Екатеринославской проходит несколько переулков: Адоевский (он же Одоевский, переулок Одоевского), Рудаковский (улица Рылеева), Кнышевский и Дороховский. Рудаковский переулок в 1890-е годы был одним из самых неудобных в городе как для пешеходов, так и для транспорта. Здесь всё время переворачивались телеги с грузом, особенно со скарбом переезжающих с квартиры на квартиру обывателей, колымаги, груженные углём и дровами. Наиболее опасный участок был у домов № 35—40, где крутой скат уходил прямо в канаву, усугублённый тем, что при постройке дома № 35 весь грунт при рытье фундамента был рассыпан тут же в переулке. Извозчики в этом месте просили выйти пассажиров и пройтись пешком, сами же придерживали экипаж сзади руками.
На углу Екатеринославской и Холодногорской улиц располагалась Арестантская рота, построенная в 1839 году. Новый комплекс зданий появился в 1849 году. В 1893-м здесь была учреждена Харьковская пересыльная тюрьма, или, как её зовут в народе, Холодногорская.