Город, окружённый стенами, составлял 450 метров в ширину и 700 метров в длину. Город остро нуждался в новых площадях для застроек, так как был уже полностью застроен.
Строительство Сайменского канала (Saimaan kanava) и планы по строительству железнодорожного сообщения Хельсинки — Выборг — Санкт-Петербург привели к тому, что необходимость сноса городских стен стала очевидной.
Крымская война 1854/56 годов изменила ситуацию. Сразу после ее окончания в 1856 году военное руководство обратило внимание на то, что городские стены и фортификации устарели и больше не служат своим целям. Они находились в плохом состоянии, а в некоторых местах были полностью разрушены по причине плохого ухода. Жители использовали площади стен в качестве пастбищ для коз и овец. Возможно, легенды о выборгских козах и заграждениях возникли именно в те времена. Военным руководством было принято решение о том, что новые фортификации и форты будут построены в Паттеринмяки {«Гора батареи»). Строительство завершилось к 1870 году.
Завершение строительства Сайменского канала в 1856 году и железнодорожного сообщения в 1860 году имели решающее значение для жизни Выборга. Согласно императорскому декрету от 1859 года старые стены 16 века стали собственностью города. Крепость Короны Святой Анны, или так называемая крепость Сииканиеми, оставалась на попечительстве военного руководства, и снос был запрещён.
В январе 1860 года Александр II утвердил предложения о разборке старых укреплений, мешавших развитию города, а 9 (21) февраля 1861 года — новый генеральный план Выборга, составленный губернским землемером Б. Нюмалмом. По этому плану были затем проложены и новые улицы, одна из которых в честь императора была названа Александровской (ныне Ленинградский проспект).
Новый план города инженера Берндта Отто Нималма был принят в 1861 году. Вскоре начался снос стен. Территория для застроек увеличилась в шесть раз.
Строительство новых главных улиц Торккелинкату («Улица Торккели») и Алексантеринкату, («Улица Александра») было закончено в 1880 году. Оставшиеся части стены были снесены в конце 1880 годов. Только бастион «Залив Пантсарлахти» и стены, окружавшие его, напоминают нам о прошлых веках.
В 11 часов утра 1 сентября 1863 года к пристани Выборга пришвартовался пароход
Вся набережная была усеяна народом, под восторженные крики «Ура!» дамы бросали в воду букеты цветов. Выборг встречал Государя императора Александра II, который направлялся в Гельсингфорс на открытие СеймаВеликого княжества Финляндского. Государя сопровождали высшие чиновники империи: министр двора В.Ф. Адлерберг, министр иностранных дел А.М. Горчаков, военный министр Д.А. Милютин, морской министр Н.К. Краббе, шеф жандармов князь В.А. Долгоруков и многие другие.
Здесь он посетил православный храм во имя Богородицы «Всех скорбящих Радости», находившийся за Спасо-Преображенским собором, который в это время был на ремонте.
О визите императора в Выборг сообщала газета «Северная почта» 6 сентября 1863 года: