Через Ягоду Леопольд был теснейшим образом связан с органами. Вот его собственное признание: «Я действительно причастен к делу Ягоды в том отношении и потому, что на протяжении нескольких лет я, не работавший в НКВД жил на дачах НКВД, получал продукты от соответствующих органов НКВД, часто ездил на машинах НКВД. Моя квартира ремонтировалась какой-то организацией НКВД, и органами НКВД старая была обменена на новую. Мебель из моей квартиры ремонтировали на мебельной фабрике НКВД По отношению ко мне проводилась линия… иждивенчества, услужливого и многостороннего… Я понимал, что это делается мне не по праву, а как родственнику Ягоды, как вообще близкому к нему человеку».
Авербах в своих показаниях не жалел нелицеприятных эпитетов в адрес Ягоды: и «гнуснейший», и «подлежащий ликвидации», и «местечковый комбинатор». Словом, бывший патрон получил по всем статьям. Но как ни старался Леопольд, он разделил участь Ягоды.
Вскоре после гибели мужа арестовали и жену. При этом описали имущество: рояль, письменный гарнитур и огромное количество книг — все это передали Бонч-Бруевичу. С дедушкой остался и внук Виктор. В 1942 году власти спохватились: оказывается, конфискованное имущество следовало сдать в Госфонд. Но было уже поздно — Бонч-Бруевич все снес в комиссионку.
Елена Бонч-Бруевич, как и многие другие, уповая на великодушие власть держащих, писала письма Ежову. В них она отмечала, что «всегда любила Ленина, росла рядом с ним». Елену откровенно возмущало, что ее «ставят на одну доску с такими чужими людьми, как Серебрякова, Эйдеман».
Отец тяжело переживал за дочь. Он старался как-то облегчить ее участь и написал следующее письмо самому Сталину.