Алексей Михайлович Рудаков — личность в Харькове легендарная, благодаря красочным, но не очень достоверным описаниям художника Василия Парфентьевича Карпова, рассказавшего о конфликте Рудакова и губернатора в своих «Воспоминаниях старожила». Хваткий и энергичный купец Алексей Рудаков, начав собственную торговлю в Харькове с 1842 года, в 1847-м перешёл в 1-ю купеческую гильдию и в 1850 году был избран городским головой. Решение большинства вопросов происходило при нём авторитарными методами, его богатству и связям мало что могли противопоставить другие. Справедливости ради следует сказать, что его напористость и упорство привели к изменению ситуации с городским хозяйством: за годы его правления была упорядочена торговля, в том числе и на ярмарках, стали отстраиваться новые городские ряды, расчищен Рыбный рынок, замощение улиц приобрело планомерный характер. Во многом эта деятельность активизировалась благодаря генерал-губернатору Сергею Александровичу Кокошкину. Делая одно дело, эти два человека не смогли найти общий язык, а непреклонный характер Рудакова сослужил ему плохую службу. Поссорившись из-за перевода оптовой торговли из центра города, к которой сам Рудаков не имел никакого отношения, он более года был под следствием и выслан на два года в Уфу.
Возвратившись из ссылки, Рудаков не смог подняться на тот же уровень торговли и значимости, стал купцом 2-й гильдии и торговал бакалейными товарами, торговый ряд в Горяиновском переулке сдавал в аренду. После его смерти (между 1871 и 1873 г.) торговые ряды унаследовали сыновья: Александр, Павел, Василий и Николай. А в начале XX столетия ими владел внук — Александр Васильевич Рудаков и его наследники. Здание во все времена сохраняло свою торговую направленность, и сегодня многие из харьковцев помнят его как место, где размещался ресторан «Старе місто».
Одним из украшений Харькова считается дом под № 9, принадлежащий первоначально купцу 2-й гильдии Петру Гребенщикову, чьи дети решили построить здание торгового дома с лавками и конторой. Однако в 1890-м были вынуждены отдать недостроенное здание цеховому Константину Штейфону, чей сын Александр и закончил проект здания в 1897 году.
Не менее интересно и здание под № 11, принадлежащее харьковскому купцу 2-й гильдии Алексею Васильевичу Тамбовцеву. Это каменный двухэтажный дом, построенный в 1820-е годы, первый этаж которого использовался как торговое помещение, а второй этаж был жилым. Супруга Алексея Тамбовцева известна Харькову как образец благотворительности на нужды харьковских храмов, она жертвовала немалые суммы на Успенский собор и Александровскую колокольню, Троицкую, Мироносицкую и Благовещенскую церкви.
Горяиновский переулок вблизи Успенского собора был излюбленным местом для нищих и попрошаек, в 1890-е годы, как говорили, городовые слишком снисходительны к ним.
В южной же части по нечётной стороне Горяиновского переулка в 1914—1917-е годы был построен самый большой в Харькове доходный дом страхового общества «Россия». Для этих целей общество выкупило дворовые места по Николаевской, Торговой площади и Горяиновскому переулку. Огромное шестиэтажное здание по проекту архитектора Ипполита Претро вместило в себя на первых этажах множество магазинов, а остальные были заняты шести- и восьмикомнатными квартирами.
В советское время Горяиновский переулок назывался то Драгоманова, то Гамарника, то стал улицей Баумана, потом почему-то Уфимским переулком, пока 14 июня 1978 года его не переименовали в честь основоположника украинской литературы Григория Фёдоровича Квитки-Основьяненко.
Есть внутри Старого города ещё один переулок, сформировавшийся как дорога из центра крепости к Шаповальской (позднее Московской) башне. Во второй половине XVIII столетия вдоль дороги внутри крепости располагались лавки и навесы с товарами мелочными, железом, свечами, салом, а снаружи крепостной стены лавки с чёрным товаром. До 1840-х годов на месте бывшей проезжей башни стояли каменные городские ворота, но по ветхости были разобраны. В 1806 году здесь открыл лавку иностранец-шляпник Алгрен, в 1822-м — приехавший из Витебска крещёный еврей Давид Львович Штейфон. Тогда переулок получил имя Шляпный, первоначально он доходил, обминая Успенский собор, до Университетской улицы. В 1840-е годы здесь работали шляпники Прокофий Лавровский и Карл Вейхельм. В Шляпном переулке располагался флигель Городской думы, в 1889 году в нём был открыт первый адресный стол. Работа адресного стола поначалу была не очень эффективна из-за множества ошибок в адресах, поскольку сведения, которые предоставляли околоточные надзиратели, часто составлялись наспех. В 1973 году переулок был переименован в Советский, поскольку в него выходил боковой фасад Харьковского городского совета. В 2015-м переулок стал называться Соборным.