Как и все немецкие евреи, в 1938 году Отто Натан Дойч был вынужден зарегистрировать всю свою собственность. Эти сведения потом использовались нацистами для разного рода поборов. После «хрустальной ночи» — погромов в ноябре 1938-го — на еврейскую общину Германии наложили штраф в размере более миллиарда рейхсмарок. Из них на долю семьи Дойч пришлось более 24 000. Когда в 1939 году семья наконец эмигрировала в Нидерланды, Дойчу пришлось заплатить еще около 30 000 марок в качестве налога на эмиграцию, и тогда Дойч продал часть своей недвижимости — по цене ниже рыночной. В конце 1930-х еврею в Германии не приходилось торговаться.
Чтобы получить разрешение на выезд, Дойч был также вынужден представить список имущества, которое он собирался вывезти. Частью этого имущества была коллекция из десяти картин маслом и примерно дюжины акварелей и гравюр.
Власти сразу заинтересовались искусством и решили отдать на экспертизу коллекцию, хранившуюся пока что во Франкфурте, на складе транспортной фирмы Вильгельма Хуна, которая должна была перевезти имущество Дойчей в Амстердам. Работы осмотрел некий Вильгельм Эттле, сотрудник немецкого министерства пропаганды. Три картины особенно привлекли его внимание, и он их конфисковал.
Однако три работы Эмиля Нольде, которыми владел Дойч, остались в коллекции — Нольде не представлял никакой ценности для рейха. Эттле гораздо больше понравился немецкий пейзажист Эдмунд Штеппес (1873–1968), который был членом нацистской партии и приобрел известность, когда в 1937 году одну из его картин купил сам Гитлер.
Однако остатки коллекции Дойчей так и не добрались до Амстердама, а скоро семье стало и вовсе не до картин. Амстердам недолго оставался безопасным убежищем: в мае 1940 года Германия оккупировала Нидерланды, а еще через месяц Отто Натан Дойч скончался.
Одну из его дочерей, Гертруду, с мужем и двумя детьми впоследствии депортировали в Аушвиц, и все они там погибли. Вторую дочь, Анн Мари, тоже с мужем и двумя детьми, отправили в Берген-Бельзен. Анн Мари и дети выжили, муж погиб в лагере. Третий ребенок Дойча, сын Фриц, пережил войну и эмигрировал в Чили.
В 1945 году Анн Мари попыталась выяснить, что стало с имуществом отца, и связалась с транспортной компанией Хуна, которая так и не переправила вещи в Голландию. Из Франкфурта ей сообщили, что имущество пострадало от бомбы, попавшей в городской Центральный вокзал во время одного из воздушных налетов. Что случилось на самом деле — неизвестно: документы за этот период во франкфуртской компании отсутствуют — вероятно, они также были уничтожены во время войны. Картины могли быть конфискованы или же украдены сотрудниками самой транспортной фирмы. Полагая, что имущество утеряно, семья потребовала у немецких властей компенсацию и получила 31 370 бундесмарок, из них 4000 — за картину Нольде.
Лишь полтора десятилетия спустя семья узнала, что коллекция, вернее ее часть, пережила войну. В 1964 году «Цветочный сад в Утенварфе» всплыл на рынке искусства — он был выставлен на продажу в Штутгарте, в аукционном доме Вольфганга Кеттерера — брата галериста из Лугано. Тогда картина проходила под названием «Цветочный сад с синим забором». Она была представлена цветной иллюстрацией в каталоге под номером 998. В том же 1964 году Роман Норберт Кеттерер отдал ее в аренду Музею современного искусства.
Через два года, в 1966-м, Кеттерер продал на аукционе в Кампионе-д’Италия, швейцарско-итальянском курортном городке недалеко от Лугано, вторую картину Нольде из коллекции Дойча — «Маки и розы». Картина поступила на аукцион от некой Гертруды Эрберле из Мадрида и была куплена неким Эрнесто Блумом из Венесуэлы. Затем о картине ничего не было слышно вплоть до 2006 года, когда она вновь появилась на одном из аукционов в Швейцарии.
Как «Маки и розы» оказались в Мадриде и почему именно Кеттерер продавал обе работы Нольде из исчезнувшей коллекции Дойча — никто не знает. По словам представителей аукционного дома Кеттерера, никакой документации за период Второй мировой не сохранилось. В архиве Музея современного искусства тоже нет никаких сведений о провенансе этих произведений.
Но едва ли можно считать случайностью, что «Цветочный сад в Утенварфе» всплыл на поверхность именно в 1960-е, когда вопрос о реституции в большинстве стран был уже закрыт и вина Германии и ее союзников за военные преступления в целом считалась искупленной. Возможно, владельцы и продавец что-то знали о происхождении картин и посчитали, что теперь можно безопасно выставить их на рынок. В 1960-е на рынке искусства вообще появилось много работ, не видевших свет с момента окончания войны.