Главный садовник Потемкина был уроженцем Ормскирка в графстве Ланкашире. Особо его ценили за то, что Гульд был «великим мастером по устройству прудов, дававших ему землю и все необходимое для того, чтобы разнообразить ландшафт». Как свидетельствует прошение У. Гульда 1794 г., садовник прибыл в Россию в 1776 г. по вызову Потемкина, обязавшегося платить ему 160 фунтов в год. Возможно, он приехал в Россию вместе с А.А. Самборским, и тот порекомендовал его влиятельному фавориту. Несомненно, что Самборский был в курсе жизненных перипетий английского садовника, который часто посещал его дом на Дворцовой набережной возле Литейного моста в Петербурге. В одном из писем к Потемкину Гульд сообщает, что именно от Самборского узнал так порадовавшую его новость: «От почтенного отца Андрея Самборского, к крайнему моему порадованию, узнал я, что Ваша светлость изволили вновь подтвердить прежнее Ваше обнадеживание о пожаловании земли с крестьянами». Происходило это, по-видимому, в 1785 г., когда Гульд обозревал земли недавно присоединенной Тавриды. 12 мая из Ак-Мечети (Симферополь) правитель Таврической области В.В. Каховский сообщил Потемкину о получении ордера, в котором князь предписывал выделить Гульду землю там, где он сам выберет.
В хозяйственных бумагах канцелярии князя имеются списки служащих и ведомости о выдаче им жалованья по годам. Гульд, например, в 1785 и 1786 гг., в треть года получал 366 руб. 66 коп. Потемкин благоволил англичанину и поручал ему самые ответственные задания: организацию «мгновенных садов» по пути следования Екатерины II во время путешествия 1787 г. в Крым, создание пейзажного парка в английском духе — Таврического сада, благоустройство новых городов в Северном Причерноморье и своих усадеб в Екатеринославле, Елизаветграде, Аничковском дворце, Осиновой Роще и на Елагинском острове Санкт-Петербурга, подмосковном имении Хорошево и др. «При приезде моем из Англии упражнялся я в Аничковом саду, Осиновой Роще и на Елагинском острове; потом отправился в подмосковную Хорошову, где английский сад и парк разложил», — докладывал о своих работах у Потемкина Гульд.
В обществе XVIII в. особенно ценилась способность понимать различные искусства, и для представителя высшего класса необходимо было проявлять интерес к живописи, скульптуре и архитектуре. Признаком же хорошего вкуса хозяина были прежде всего сад и парк, их устройство, на что тратились суммы, сравнимые со стоимостью дворца. Постоянно занятый решением государственных задач, Потемкин находил время для любимого увлечения — садово-паркового искусства. В своих обширных имениях светлейший князь лично подбирал растения и деревья для создания пейзажных английских парков и, отдавая распоряжения Гульду, входил в мельчайшие подробности. В 1790 г., обращаясь к господину Гуль, как иногда называли в России английского садовника, князь приказывал «выписать розы всех сортов, которые существуют», и других разных цветов.
Увлечение английским садово-парковым искусством сближало Потемкина и Гульда. Садовника поражали степные плодородные земли, порученные его стараниям. Здесь он в полной мере мог проявить свое мастерство в устройстве английских ландшафтных садов и парков. Потемкин полностью доверял мнению и вкусу Гульда в выборе мест для садов, посадки деревьев и шелковицы, заведения прудов; все инициативы садовника находили доброжелательный прием у князя. После одного из путешествий по крымским степям он обращался к Потемкину со своими предложениями: «Проезжая из Кременчуга в Перекоп, а оттуда в Карасубазар через самую плодоносную землю, и не видя никаких на оной деревьев, осмеливаюсь предложить Вашей светлости, что весьма бы было полезно посадить разные деревья, а в некоторых местах и шелковицы. Если покажется вашей светлости угодным сие предложение, то я мог бы рекомендовать для онаго весьма искуссного человека из провинции Йоркской, которой мог бы согласиться на триста или четыреста рублей в год. Однако для такова пространства земли одного человека не довольно. Оных людей препоручить надобно неотменно полковнику г/осподину/ Корсакову, которого ревность к общей пользе упоминать не нужно. В следующем письме я буду в состоянии дать Вам отчет моих работ, которых я доселе начать не мог по притчине весьма труднаго и медлительнаго моего путешествия. Естли Вашей светлости угодно будет кончить зимний сад в Конной гвардии, то соблаговолите приказать банкиру Сутерланду выписать из Голландии разных цветов, семена и луковицы по тому реестру, который я к нему отправил».
У. Гульд был отправлен в Херсон и в Тавриду для заведения садов, а до этого, как докладывал Потемкину И.М. Синельников, туда же были посланы еще два садовника «с шелковичными червями». По возвращении У. Гульда И.М. Синельников предполагал «на Елизаветградской Вашей светлости даче, а также… где будет город Екатеринослав надобные места для садов и для винокуренного завода осмотреть и примечания о землях и о наливании прудов сделать».