Через 10 лет после основания крепости новгородцы решили передать «Орешек» литовскому князю Наримунту, назначившему своего сына Александра, главой вновь образованного Ореховского княжества. Князь Наримунт большую часть времени проводил в Литве и жизнь небольшого острова, ровно как и вверенного ему княжества его не интересовала. В 1338 году он и вовсе отозвал своего сына на родину, проигнорировав просьбу о помощи новгородцев, западные рубежи которых опять подверглись нападению шведов. В результате в 1348 году Орешек был захвачен шведами.
Новгородские князья не могли смириться с такой утратой и в 1349 году была предпринята удачная попытка взятия крепости. Начальником крепости был назначен воевода Иаков Хотов, при котором деревянные строения были снесены и на их месте появились каменные стены.
В 1384 году была предпринята вторая попытка закрепить род Наримунта на Ореховской земле. Сына князя, Патрикея Наримунтовича пригласили в Новгород и предложили возглавить Орехов, Корелу и Лужское. Патрикей принял предложение и оставшись на русской земле стал основателем рода князей Патрикеевых.
В 14-ом веке стала активно заселяться юго-восточная сторона замка. Скоро плотность населения увеличилась настолько, что люди начали называть замок городом, или «государством».
15 век ознаменовал утрату Новгородской республикой самостоятельности. Все её территории вошли в княжество Московское. Изменилась и крепость; стены были полностью перестроены, появились многочисленные башни. Необходимость усиления подтвердилась в ходе Ливонской войны. Нападение шведов на Орешек в 1582 году привело к полному разгрому атакующих и заключению очередного недолговечного мира.
глава 4
В 1403 г. Эрик XIII Померанский со своей свитой посетил Выборг и даровал городские права и привилегии Выборгу. И только после этого в городе стали действовать Ратуша и бургомистратура.
Указ об основании города Выборга, или о привилегиях, дарованных королём Эриком XIII 19 августа 1403 года гласил: