Между тем город, усиливаясь многолюдством, обстраивался домами и церквами, но не богател капиталами даже и в то время, когда поморы начали свозить сюда морские промыслы, состоящие в рыбах, треске и палтусине и в кожах морского зверя. Поморы выменивали это на хлеб, привозимый из плодородных стран, с реки Ваги и дальней Вятки. Но Холмогоры не богатели. «Сие происходило, — справедливо думает Крестинин, — от того, что главные капиталы торгующих купцов из Новгорода проистекали и туда же возвращались; частью же потому, что монахи большими соляными торгами монастырям знатную прибыль от сего товара разделяли неощутительным образом с холмогорскими купцами и своим перевесом приводили их в ослабление нечувствительно. Монахи от избытков мирского богатства украшали свои монастыри каменными зданиями и великолепием, а холмогорцы не могли воздвигнуть ни единой каменной церкви прежде XIII века».
К тому же вскоре быстро и сильно развилась торговля при порте Святого Николая, где образовался у монастыря Архангельского целый город, открытый в 1585 году воеводами Нащокиным и Волоховым. Стали туда приходить иностранные корабли. Холмогоры потеряли с той поры всю свою материальную силу и нравственное значение и вели свою историю в бедных, незнаменательных и скудных чертах. Вот все исторические предания Холмогор в хронологическом порядке и повременной постепенности.
В 1587 году прибыл сюда первый двинский воевода, князь В. А. Звенигородский. Им расчислены и вновь положены сохи, с которых казна должна была собирать свои доходы. До того времени правили Двинскою землею наместники и тиуны, но как те, так и другие, вели долгую систему несправедливостей, обид и притеснений всякого рода, так что при управлении последнего из наместников, Семена Микулинского-Апулкова, обнаружилось, по свидетельству двинского летописца, «что наместник оброк сбирал на себя, а дань государю. Оброк этот (та же взятка) превосходил государственную подать». По писцовой книге 1623 года видно, что всего денежного сбора было «тридцать девять рублев, двадцать пять алтын, полторы деньги. На Рождество Христово волостные старосты с предписанного числа сох приносили наместнику полоть мяса, десять хлебов, коробью овса, воз сена. На велик день (Св. Пасхи) — полоть мяса, десять хлебов. На Петров день — одного барана и десять хлебов. Тиун получал против наместника половиной меньше. Как те, так и другие, имели право брать вместо припасов деньги. Наместников в порядке правительственных распоряжений заменяли земские головы и двинские судьи, товарищи земских голов, избираемые из двинян голосами народа». Они, говорит двинский летописец, судили на Холмогорах в верхней и в нижней половине до воеводского приезду. При нем начали на Холмогорах селиться англичане, строить собственные дома, каких не видывал город: строили амбары и учредили свою торговую контору. Тогда же Холмогоры из посада переименованы были в город, имевший уже три (деревянных) церкви: Спасопреображенскую, Крестовоздвиженскую и Святого апостола Иакова — брата Господня.
При воеводах исторические события записаны двинским летописцем в таком порядке.
В 7116 (1608) году при воеводе И. В. Милюкове Гусе двинский народ судил и осудил на смертную казнь как врага отечества дьяка Илью Иванова сына Елчанина. Дьяк этот при участии самого воеводы был неумолим и крайне неумеренным в своем лихоимстве. Особенно обнаружилось это лихоимство в то время, когда он решился всеми мерами препятствовать двинянам отправлять на морскую службу даточных (вольнонаемных ратников), которые должны были противостоять полякам и русским изменникам. Воевода во время народного суда лишен был на три дня власти и содержался под крепкою стражею. Дьяк же, лихоимец, 10 января, после трехдневного заключения в тюрьму, был осужден и опущен с камнем на шее в реку Двину.
В 7121 (1613) году построен был деревянный острог за Глинками, в нижней половине, на самом берегу Двины. Острог тогда же населен был стрельцами и в конце года имел уже случай счастливо противостоять нападению поляков и русских изменников, пришедших сюда с Ваги (см. далее: «Сийский монастырь»). В 1621 году острог этот во время весеннего ледохода сломало и потому вместо него выстроен был, между Курцевским и Глинским посадами, новый острог. Оба посада эти в 1636 году потерпели опустошение от большого пожара, причем сгорела Владимирская церковь...
В 7163 (1655) году переведены из города двинские стрельцы, разделенные на два приказа, в Москву, а на места их присланы смоленские и дубровские гайдуки (460 человек). В следующем году на иждивение и трудами двинских жителей выстроен был на острожном месте деревянный город вместо палисадника с двойной рубленой стеной, пустота в которой заполнена была землею. В 1674 году в этом замке построена была первая каменная палата для воеводского заседания с дьяком во время суда и расправы.
