Гайдну, в виде исключения, разрешили взять с собой в Эстерхазу жену, но он не оценил эту привилегию. В 1779 году он влюбился в Луиджу Польцелли, посредственную певицу, которая была ангажирована для Эстерхазы вместе со своим мужем-скрипачом Антонио. Похоже, Гайдн решил, что раз уж католическая церковь не позволила ему развестись с проблемной женой, то она должна, смилостивившись, разрешить ему развлечение-другое; и он не прилагал особых усилий, чтобы скрыть свою связь. Антонио был слишком стар и болен, чтобы эффективно протестовать, и знал, что его оставили в списках только потому, что капельмейстеру нравилась Луиджия. Она приехала в Эстерхазу с двухлетним сыном; в 1783 году она родила еще одного мальчика, которого сплетники приписывали папе Гайдна; он принял обоих мальчиков в свое сердце и помогал им всю жизнь.
В те напряженные годы в Эстерхазе Гайдн, лишенный внешних стимулов и конкуренции, медленно развивался как композитор. Он не создал ничего запоминающегося до тридцати двух лет — возраста, в котором Моцарт завершил свое творчество, за исключением «Волшебной флейты» и Реквиема. Лучшие произведения Гайдна появились после пятидесяти лет: первая большая симфония — почти в шестьдесят, «Сотворение мира» — в шестьдесят шесть. Он написал несколько опер для исполнения в Эстерхазе, но когда Прага пригласила его представить там оперу в серии, включающей «Женитьбу Фигаро» и «Дон Жуана», он отказался в письме благородной скромности (декабрь, 1787):
Вы хотите оперу-буфф от меня….. Если вы намерены поставить ее в Праге, я не могу вас обязать. Мои оперы неотделимы от труппы, для которой я их написал, и никогда не произведут рассчитанного эффекта вдали от родного окружения. Совсем другое дело, если бы я имел честь получить заказ на написание новой оперы для вашего театра. Однако и в этом случае я рискую вступить в соперничество с великим Моцартом. Если бы я только мог внушить каждому любителю музыки, особенно великим, такие же глубокие чувства и такое же ясное понимание, как у меня, при прослушивании неповторимых произведений Моцарта, то, несомненно, народы стали бы соперничать за обладание такой жемчужиной в своих границах. Прага должна стремиться сохранить это сокровище в своих руках, но не без достойного вознаграждения. Отсутствие такового часто опечаливает жизнь великого гения и дает мало стимула для дальнейших усилий и будущих времен. Меня возмущает, что Моцарт до сих пор не был ангажирован ни при одном императорском или королевском дворе. Простите, что я отклоняюсь от темы; Моцарт — очень дорогой для меня человек.32
Гайдн и сам жаждал попасть ко двору, где его талант мог бы шире расправить крылья, но ему пришлось довольствоваться королевскими комплиментами. Подарки поступали от Фердинанда IV Неаполитанского, Фридриха Вильгельма II Прусского, великой княгини Марии Федоровны Российской. В 1781 году Карл III Испанский прислал ему золотую табакерку, украшенную бриллиантами, и испанский посол в Вене отправился в Эстерхазу, чтобы лично вручить маленькое сокровище. Возможно, к этому приложил руку Боккерини, обосновавшийся в то время в Мадриде, поскольку он так рьяно перенимал стиль Гайдна, что его прозвали «женой Гайдна».33 Когда кафедральный собор в Кадисе решил заказать музыкальное оформление «Семи последних слов Спасителя», он обратился к Гайдну, и тот ответил ораторией (1785), которая вскоре была исполнена во многих странах — в Соединенных Штатах уже в 1791 году. В 1784 году один из парижских продюсеров попросил написать шесть симфоний; Гайдн ответил шестью Парижскими симфониями. Несколько раз он получал приглашения дирижировать концертами в Лондоне. Гайдн чувствовал себя связанным с Эстерхазой не только контрактом, но и преданностью, однако его частные письма свидетельствовали о растущем стремлении к большой сцене.