Не способствовал застройке улицы и переезд Двора в Москву в 1726 г., во время царствования Петра II. Город начал быстро пустеть, а уже возведенные здания без присмотра стали разрушаться. Потребовалось даже издать специальный указ, запрещавший жителям покидать Санкт-Петербург.
Более плотной застройка стала только к концу 1730-х гг., когда на престол взошла Анна Ивановна, а Двор вернулся в город. На тех же местах, где они стоят и сегодня, построили лютеранскую церковь Св. Апостола Петра, шведскую и реформатскую церкви. На участке за современным Домом книги поставили перенесенное с Адмиралтейского луга крытое здание манежа герцога Курляндского Э.-И. Бирона.
Напротив него, с другой стороны першпективной дороги, в 1733–1737 гг. по проекту архитектора М. Г. Земцова возвели новую церковь Рождества Богородицы (Казанской Божьей матери). По его же проекту построили комплекс из двух домов усадьбы братьев Строгановых у пересечения Большой першпективной дорогой реки Мьи (ныне – дом № 17).
Около моста через Безымянный Ерик располагались строения гвардейского Преображенского полка (полковой двор), на месте которых в 1757 г. построили здание Аничкова дворца. В 1732 г. перед этим мостом М. Г. Земцовым были воздвигнуты Триумфальные ворота, замыкавшие перспективу и придававшие ей торжественность. Еще одни Триумфальные ворота в том же году возвели у Зеленого моста через Мью (Мойку). Эти ворота установили по случаю возвращения из Москвы в Санкт-Петербург Двора Анны Иоанновны (Ивановны), ставшей в 1730 г. императрицей. Первые ворота назывались Аничковскими, а вторые ворота назывались Адмиралтейскими.
Тем не менее, эта часть будущего Невского проспекта (за рекой Мьей) в те годы пока еще оставалась довольно пустынным местом. На планах и зарисовках того времени здесь в основном показаны высокие глухие заборы. Пастор евангелической общинной церкви во имя апостола Петра (дома №№ 22–24) Крейг писал: «Опасаюсь недостатка в воде, злоумышленников, убийц, воров и разных неприятностей, случающихся обыкновенно с теми, кто живет далеко от своих соседей».
В результате опустошительных пожаров в 1736–1737 гг. практически полностью выгорели обе Морские слободы вместе с Гостиным двором. Торговые ряды после пожара перенесли за Глухой проток, на место нынешнего Гостиного двора.
Исследователь истории Петербурга Богданов писал о пожаре Гостиного двора: «Сей гостиный или мытный двор в 1736 году, загоревшись внутри, весь сгорел и от оного пожара развалился, понеже оный строен был весьма стенами тонко, потолки, двери и затровы были деревянные и от сильного огня распалися, а на последки и остатки разобрали».
В результате с правой стороны Невской першпективы от Адмиралтейства до реки Мьи долгое время находились пустые погорелые места, на следующий год не менее опустошительным пожаром уничтожены Немецкая и Греческая слобода. В результате на плане города от 1737 г. вдоль Большой першпективной дороги показано всего семь домов.
М. И. Пыляев в своей книге «Старый Петербург» приводит следующие разговоры очевидцев о причинах этих пожаров: «11 августа 1736 года, в полдень, загорелся дом на Мойке, близ Зеленого моста (Полицейского), от неосторожности слуг жившего в нем персидского посла Ахмед-хана. Они курили трубку на дворе, искра запала в сено, и через полчаса дом пылал. Пламя распространилось с чрезвычайной быстротой и вскоре охватило многие деревянные здания на берегу Мойки и Гостиный двор, стоявший на месте нынешнего дома Елисеева (где Благородное собрание). Пожар продолжался восемь часов и истребил все здания от Зеленого моста до церкви Вознесения. 24 июня 1737 года огонь снова вспыхнул разом в двух местах и обратил всю часть города, от истока Мойки до Зеленого моста, в пепелище. Сгорело более тысячи домов и несколько сот человек. Позднее, в этом же году, сгорела часть города от Вознесенья до Крюкова канала. Этим пожарам, как было дознано, предшествовали поджоги. Так, 6 июня, рядом с дворцом Елисаветы Петровны (где теперь Павловские казармы), в доме Линзена, найден был на крыше горшок с воспламеняющимися веществами».
