В 1777 году «Садовую» улицу официально назвали Каравайной. Иногда ее называли Коровайной. Оба эти названия связаны с неправильным произношением персидского названия слонового двора. Слоны были подарены России персидским шахом. Они прибыли в Петербург с собственными погонщиками, которым определили место для жилья на «Садовой дороге» вблизи Невского проспекта. Свои жилища персы называли «караван-сараями». Слоновый двор находился на месте современного дома № 12. Затем его перевели на Знаменскую площадь, а название улицы с 1788 года приобрело современную редакцию: Караванная улица.
В 1919 году в бою с войсками генерала Юденича под Лугой, не желая попасть в плен к врагам революции, застрелился 24-летний комиссар Красной армии Николай Гурьевич Толмачев. В том же году в память о нем Караванную улицу переименовали в улицу Толмачева. В доме № 1 по этой улице находились так называемые Курсы по подготовке военных агитаторов, организатором которых был Толмачев.
В 1991 году улице Толмачева вернули ее историческое название. Она вновь стала Караванной.
Участок дома № 66 по Невскому проспекту в конце XVIII века принадлежал поэту Г.Р. Державину, который продал его под застройку купцу П. Шарову. В 1877 году трехэтажный особняк Шарова был перестроен по проекту архитектора В.И. Иванова. Ленинградцам этот дом известен знаменитой аптекой, которую в народе называли «Аничковой», по находящемуся рядом Аничкову мосту. С 1934 года в первом этаже этого дама расположен один из старейших и известнейших в городе книжных магазинов – Книжная лавка писателей. Книжная лавка внесена в «Красную книгу Петербурга» как «объект, не подлежащий переименованию и перепрофилированию».
В квартале от дома с «Аничковой аптекой» по набережной Фонтанки находится дом № 25. В Петербурге начала XIX века он был хорошо известен как дом Муравьевой. В 1814 году это здание было приобретено у купца Андрея Кружевникова Екатериной Андреевной Муравьевой сразу после ее переезда из Москвы в Петербург. Вместе с матерью здесь жили ее сыновья, будущие декабристы Никита и Александр. Сюда, в их исключительно гостеприимный и хлебосольный дом, приходили многочисленные родственники и друзья Муравьевых. Здесь «у беспокойного Никиты» проходили собрания Тайного общества.
В декабре 1825 года большую и дружную семью Муравьевых поразил страшный удар. Никита был приговорен к смертной казни, замененной двадцатилетней каторгой, Александр – к двенадцати годам каторжных работ. Среди ближайших родственников под следствием оказались Сергей, Матвей и Ипполит Муравьевы-Апостолы, Артамон Муравьев, еще один Александр Муравьев. Это только из ближайшего круга. Сергей был повешен на кронверке Петропавловской крепости, Ипполит застрелился, остальные сосланы в Сибирь.
Дом Муравьевой превратился в «Святыню несчастий», как окрестили его петербуржцы. Екатерина Андреевна едва не сошла с ума от горя и почти ослепла от слез. По свидетельству современников, она «больше всех других матерей и жен декабристов не давала Николаю I возможности забыть его “друзей 14 декабря”».
