Местное население было пестрым – здесь жили водь, ижора, финны, русские, шведы, немцы. Включив в 1617 году Ингрию в состав королевства, шведы проводили политику вытеснения русского населения с завоеванных территорий (по подсчетам историка С.В. Семенцова, доля русских в общем составе населения Ингрии сократилась с 89,5% – в 1623 до 26,2% – в 1695 году). Уже по условиям Столбовского мира 1617 года русским дворянам, не желавшим становиться подданными шведского короля, предоставлялось всего 2 недели, чтобы покинуть пределы Ингрии. Вскоре после ее завоевания население, исповедовавшее православие, оказалось в тяжелом положении – шведские власти усиленно насаждали лютеранство, весьма суровую религию, не терпевшую конкуренции. Перешедшие в лютеранство православные получали налоговые и прочие льготы. Но многие предпочли перейти границу на русскую сторону и обосноваться на новгородской земле. Впрочем, были и другие русские: беглые крестьяне и холопы из Новгородского, Тверского и других уездов семьями и поодиночке переходили границу и селились «под шведом» – здесь было жить все-таки привольнее.
Ингрия стала подлинным колониальным заморским владением Швеции. Для поселения там короли вербовали немцев и голландцев, обещая им здесь столько земли, сколько те смогли бы освоить. Однако неприветливые, холодные места не особенно манили западных европейцев. Одновременно шведские короли охотно раздавали приневские земли и своим дворянам. Новые помещики строили здесь усадьбы, перевозили крепостных, что и предопределило перевес переселенцев в общей массе населения Ингрии.
К моменту появления в устье Невы русских войск в 1703 году земли, на которых вскоре начал строиться Петербург, были уже разделены между крупными шведскими землевладельцами.
Самые большие владения принадлежали управлявшим этим краем губернаторам. Бернхард С. фон Стеенхузен владел обширными территориями вокруг Ниеншанца, а усадебный дом его «Бьенкергольм-Хоф» стоял на острове Койвусаари (будущий Петербургский остров). Вдоль правого берега безымянной реки (ныне Фонтанка) и у «Малой речки» (ныне Мойка) располагались земли братьев Аккерфельт. Их усадьба стояла примерно в том месте, где теперь располагается Михайловский замок. Часть этого имения (та, что ближе к Неве) в середине XVII века отошла к немцу, моряку Эриху фон Коноу, который построил тут усадьбу Коносхоф (место, где Фонтанка вытекает из Невы). Фон Коноу, по-видимому, хозяин усердный и знающий, разбил в имении хороший сад (в 1704 году стал основой для Летнего сада). А еще ниже по Неве, на берегу, располагался дом Коноу (через нескольких лет на фундаменте этого дома будет построен Летний дворец Петра I).
Вообще, в Ингрии, крае суровом, жили люди независимые, своевольные. Шведский генерал-губернатор Ингрии, Йёран Сперлинг, не раз сталкивался с упрямством местных жителей, не хотевших платить некоторые налоги и дерзко жаловавшихся на его администрацию самому королю. Он писал в Стокгольм: «Народ здесь своенравный, как в сельской местности, так и в городах, и он, конечно, требует некоторого наказания».