През май на около двайсет и пет километра западно от лагера навътре в острова губернаторът откри място с, общо взето, плодородна почва и реши да прехвърли там някои от каторжниците, та да почистят хълма Роуз (Филип беше кръстил местността на своя покровител, сър Джордж Роуз) и да засеят пшеница и царевица. Бе решил да продължи с опитите да отглежда ечемик в стопанството в залива Сидни. От ямите с трионите не постъпваше почти никаква дървесина, затова пък сега хората пренасяха от близките заливи огромни количества палмови клонки, за да подсигурят бастиона в тила на командващия експедицията. Кръглите, прави стебла бяха чупливи и загниваха бързо, затова пък се режеха лесно и слепени с кал, служеха за строителен материал при изграждането на повечето постройки, чиито покриви се правеха пак от палмови клони и тръстика. Каторжниците сушаха тънките летвички казуарина и ги заделяха за строежа на постоянните сгради, най-вече за къщата на губернатора.
Тухлите за основните постройки бяха докарани с корабите и вече бяха струпани на брега, а чудесната глина, която се намираше доста наблизо, използваха за направата на кирпич — работата обаче вървеше доста мудно, понеже от Англия бяха пристигнали само някакви си дванайсет калъпа. Възникна непредвидена трудност: въпреки обилието от изумителен жълт пясъчник никой не бе зърнал тук и следа от варовик. Да не повярва човек! В Англия варовикът си беше като пръстта — имаше го под път и над път и никой в Лондон не се беше сетил за него. Как без варовик ще забъркат хоросан, с който да скрепват тухлите или късовете пясъчник?
Но неволята учи. Корабните лодки бяха пратени да съберат всички черупки от стриди до последната по плажовете и скалите около Порт Джаксън, което не бе шега работа. Туземците бяха пристрастени към стридите (а те си бяха много вкусни, да си оближеш пръстите, както се произнесоха шефовете в експедицията) и струпваха черупките на нещо като мънички могилки. Озовал се в задънена улица, губернаторът реши да гори черупките и да извлича от тях вар за хоросана. От опит установиха, че са нужни трийсет хиляди празни черупки, за да се получи хоросан, достатъчен за иззиждането на пет хиляди тухли, колкото трябваха за скромна къщурка, затова и с времето експедициите, тръгнали да търсят този единствен източник на варовик, стигнаха чак до Ботаническия залив и до Порт Хакинг на около сто и петдесет километра южно от Порт Джаксън. Милиони и милиони празни черупки от стриди, овъглени и стрити на прах, отидоха между тухлите и каменните късове на първите постоянни сгради около залива Сидни.
Почти при всички се появиха първите симптоми на скорбута, дори при морските пехотинци, чиито дажби от брашно бяха сведени до минимум, понеже запасите в хранилищата бяха на изчерпване. Каторжниците дъвчеха трева и всякакви листа, стига да не са покрити със смола. Ако после не повърнеха погълнатото, продължаваха да го ядат, ако ли пък го повърнеха или припаднеха, го избягваха. Какво друго им оставаше да правят? Понеже разполагаха със свободно време и с оръжие, шефовете се престрашаваха да навлязат навътре в острова и да берат оскъдните зелени растения, които ставаха за ядене: морски копър (сукулент, виреещ в солените мочурища на Ботаническия залив), див магданоз и пълзящо растение, от което, топнеш ли го във вряла вода, се получаваше възсладък вкусен чай.
Колкото и да ги оковаваха на скалата „Празния стомах“, колкото и да ги биеха и дори да ги бесеха, крадците на храна не мирясваха и продължаваха да върлуват. Който си беше отгледал някакви зеленчуци, се виждаше принуден да ги пази като зеницата на окото си, инак те изчезваха яко дим — в това отношение хората на Ричард бяха извадили късмет, имаха си Макгрегър, който нощем пазеше със зъби и нокти колибата и нивичката отпред, и Лизи Морган, която пък бдеше над зеленчуковите лехи през деня.
Напоследък смъртта косеше наред и свободните граждани, и каторжниците, включително жените и децата. Неколцина от заточениците избягаха и повече не ги видя никой. Това донякъде облекчи положението, но в залива Сидни пак имаше хиляда души на държавна дажба. Скорбутът и недояждането означаваха, че работата вървеше възмутително мудно, освен това се намираха, разбира се, каторжници — а и морски пехотинци, — които по начало отказваха да се трудят. При губернатор като Артър Филип никой не ги биеше, че не работят, а и те вечно си намираха оправдания.
През май паднаха и първите слани на задаващата се зима, достатъчни, за да попарят почти всичко по градините. Лизи видя зеленчуковите лехи и се разплака, сетне тръгна да ги оглежда, за да види дали е останало нещичко, което още да става за ядене. В лагера бяха донесли труповете на двама голи каторжници, убити от туземците, и Ричард забрани на Лизи да напуска залива. Имаха кисело зеле и той реши, че каквото ще да става, но трябва да го ядат. Ако останалите предпочитаха скорбута пред зелето, толкова по-зле.
