Эти слова дошли до царя, и тот пришел в неописуемый гнев. Сначала Борис Федорович хотел даже казнить Богдана Яковлевича, но потом, припомнив свое обещание, данное при венчании на царство, не казнить никого пять лет, сменил гнев на милость и приказал только отобрать у Богдана Бельского все имения и отправить в ссылку. Да кроме того, не удержавшись от злой шутки, приказал начальнику своих телохранителей шотландцу Габриелю вырвать Бельскому бороду. Этот самый Габриель начинал в Москве в качестве хирурга и до поры, пока не прибыли другие врачи, исполнял обязанности лейб-медика, но потом отбросил ланцеты и скальпели за ненадобностью. Болезненную и позорную экзекуцию капитан Габриель исполнил с удовольствием, клоками повыдергав густую и длинную боярскую бороду, которой Богдан Яковлевич очень гордился. Так и поехал опальный боярин отбывать ссылку «с босым рылом».
Но вскоре царь Борис умер, и ему наследовал сын Федор Борисович, юноша шестнадцати лет, которому Богдан Бельский приходился двоюродным дядюшкой. Мать Федора, царица Мария Григорьевна, дочь Григория Лукьяновича Скуратова-Бельского, более известного по кличке Малюта, доводилась Богдану Яковлевичу двоюродной сестрой. Молодой человек получил в свои руки огромную страну в тот момент, когда на нее с запада надвигалась война, главной пружиной которой была претензия самозванца Лжедмитрия на московский трон. В этой ситуации молодой царь собирал вокруг себя всех близких людей, и потому он немедля распорядился о снятии опалы с Бельского и возвращении ему имущества, имени и чести.
Правление царя Федора Борисовича было недолгим — всего 49 дней, — но вместило в себя многое, в том числе и измену, приведшую к свержению этого государя. Среди других предавших был и боярин Богдан Бельский, который сыграл важную роль в деле ареста своего освободителя, а кроме того, он способствовал укреплению позиций Самозванца, объявив, что как воспитатель царевича точно знает, что тот спасся от рук убийцы. К этому времени ситуация для мести вполне созрела; правда, главный обидчик боярина капитан Габриель был уже мертв, но Богдан Яковлевич все равно вдоволь себя потешил, направив на головы иноземных врачей гнев толпы, сторицей вернув тем, кого считал врагами, цену своего позора и муки. Бурной осенней ночью 1605 года московская чернь, празднуя свержение Годуновых и предвкушая появление в Москве настоящего царя, вознамерилась добыть вина из кремлевских подвалов. Бельский вышел к возбужденному народу с речью, в которой укорял людей за горячность, говоря, что не хорошо будет, если батюшка-царь пожалует в свою столицу и найдет погреба своего дома ограбленными. И тут же указал достойную цель, уверив людей, что иноземные доктора за свои услуги были осыпаны милостями и погреба их домов битком набиты лучшим вином. Толпа поддалась его уговорам и бросилась в Немецкую слободу, где с 1578 года еще царем Иваном Грозным иноземцам велено было селиться иноземцам.
Пережив этот неприятный момент, доктор Каспар Фидлер умудрился уцелеть и позже, при бунте против Самозванца, а затем и при царе Василии Шуйском оказался в прежнем статусе. Потом что-то случилось — точно сказать трудно, что именно, — но солидный придворный доктор, которому было уже более пятидесяти лет, вдруг вызвался извести самого опасного на тот момент врага — главу крестьянской армии Болотникова, борьба с которым носила острый характер с неясным на тот момент исходом. Вряд ли причиной были деньги, хотя известно, что доктор Каспар получил от казны сотню золотых флоринов и яд, который мог быть, кстати, из старых запасов «дохтура Елисея», оказавшихся в руках Шуйских. Взявшись за столь опасное дельце, Фидлер дал «страшную и богопротивную» клятву верности, однако же, явившись в Калугу, где стояло войско Болотникова, он «принес повинную голову» атаману. Оставленный в лагере мятежников, Фидлер вместе с войском Болотникова мотался около полугола, пока их не настигли в Туле и не обложили в местном кремле. Когда в октябре 1607 года Болотников сдался, Каспар Фидлер вместе с другими «московскими немцами», ушедшими к мятежникам, был осужден и отправлен в сибирскую ссылку.
Принятые на московскую службу пленники Ливонской войны процветали несколько лет кряду, но потом, по всем законам природы российской политики, времена милостей сменила государева «остуда», вызванная неудачами русских ратей, которые терпели одно поражение за другим от энергичного польского короля Стефана Батория. Благоденствие многочисленной колонии иноземцев, прижившихся в столице, ее связи со служилым людом и военными стали казаться опасными и самому Ивану Грозному, а потому, с его негласного дозволения, недовольству москвичей дали выход. При полном попустительстве властей в 1578 году по Москве прокатилась волна погромов, во время которых многие из иноземцев были убиты, а их дворы, лавки и дома разгромлены и разграблены.