В это время заметно усилилась неприязнь к немецким купцам со стороны русских. По донесениям купцов русские постоянно приходили во двор, докучали его жителям и донимали приказчика, а собак колотили так, что они падали как мертвые. В таком виде, писали купцы, их поселение в Новгороде больше не может существовать, если ничего не изменится. В тот же год ганзейская контора в Новгороде была официально передана под контроль Дерпту, обязанному следить за порядком в ней, за соблюдением прав немецких купцов в городе.
В последующее десятилетие состояние новгородской конторы почти не нашло отражения в источниках. Из писем начала 30-х годов известно, что положение купцов в Новгороде мало изменилось к лучшему. Дерпт, который нес все расходы, связанные с конторой, заявил, что не намерен больше тратить на нее деньги и отвечать за ее упадок. В эти годы для ганзейских городов становилась реальной угроза потерять контору в Новгороде, о чем предупредил дерптский представитель на очередном ливонском съезде, который принял решение обсудить эту насущную проблему на следующем общеганзейском съезде. Состоявшийся через год съезд ливонских городов не внес ничего нового в данную проблему, остававшуюся нерешенной и в 1537 г. Предложение Дерпта закрыть контору было решительно отвергнуто Ревелем.
В 1541 г., как сообщают немецкие источники, двор был сожжен русскими. На самом деле намеренного уничтожения иноземных дворов со стороны новгородцев не было. Дело в том, что в 1541 г. вновь был большой пожар на Торговой стороне, в результате которого весь Славенский конец, где и располагались оба двора ганзейцев, выгорел до Белого костра: «и товару бесчисленно много сгорело, и торги все погорели и мосту великого треть сгорела».
Тем временем новгородская контора все больше приходила в запустение. Дерпт неоднократно высказывался за окончательное закрытие конторы и постоянно писал об этом Любеку как главе Ганзы. Дело кончилось тем, что в октябре 1544 г. все обитатели двора вместе с четвероногими стражами покинули двор. Между тем спустя четыре года новый великий князь Иван IV велел немцам торговать безбоязненно на Руси и устраивать свои дворы в Новгороде по старине. Существование новгородской конторы обсуждалось на ганзейском съезде в 1554 г., где вспомнили о привилегиях, данных немцам князем Ярославом (имеется в виду договор 1269 г.), и очередной раз решили возобновить контору. Ганза, утратившая к этому времени свое былое величие и силу в европейской торговле, пыталась удержать в своих руках новгородскую контору как последнее напоминание о прежнем могуществе.
Во второй половине XVI в. контора влачила жалкое существование. Сохранилось ее описание, сделанное рижским бургомистром Ниенштадтом, посетившим контору в дни своей молодости в 1570 г. К тому времени на старом разрушенном дворе конторы еще частично сохранялась каменная церковь св. Петра и небольшое сводчатое помещение, вероятно погреб, где Ниенштадт разместил напитки. Еще одну деревянную постройку он вместе с сопровождающими его помощниками использовал под склад. Другая подобная постройка предназначалась для русского сторожа, который открывал и закрывал двор. Писцовая книга по Новгороду, составленная в конце XVI в., упоминает в перечне дворов на Торговой стороне вблизи церкви Иоанна Крестителя на Пробойной и Славенской улицах «место нетяглое, что был двор немецкой ливонские земли».
