15 мая 1964 года решением парткома КГБ генерал-лейтенанту Грибанову был объявлен строгий выговор с занесением в учетную карточку: «За грубые нарушения партийных принципов в работе с кадрами, за серьезные ошибки и недостатки в оперативной работе, порочный стиль в руководстве Главком, что привело к тяжелым последствиям». 18 мая последовал приказ по КГБ: «За допущенные грубые нарушения партийных принципов в работе с кадрами, серьезные ошибки и недостатки в работе с агентурой, порочный стиль в руководстве Главком, приведшие к тяжелым последствиям, освободить от должности начальника 2-го Главного Управления и обязанностей члена Коллегии КГБ при СМ СССР».
3 июня 1964 года Президиум ЦК КПСС утвердил освобождение Грибанова с занимаемых постов в КГБ с зачислением в действующий резерв по должности заместителя начальника отдела Главного управления КГБ. 6 июня приказом по КГБ он был отозван в распоряжение Управления кадров. В тот же день Совет Министров СССР освободил Грибанова от обязанностей члена Коллегии КГБ при СМ СССР. 26 августа 1964 года Олег Михайлович Грибанов, находившийся в распоряжении Управления кадров КГБ при СМ СССР, был откомандирован в распоряжение Государственного производственного комитета по среднему машиностроению СССР с зачислением в действующий резерв КГБ.
Это было уже накануне смещения Хрущёва. 13 октября 1964 года началось заседание Президиума ЦК КПСС, на котором Хрущёв был подвергнут критике за многочисленные ошибки, допущенные в работе, и создание культа своей личности. На следующий день Хрущёв написал заявление об отставке, и вечером того же дня пленум ЦК КПСС освободил его от должности первого секретаря ЦК КПСС, а также признал нецелесообразным совмещение постов руководителя партии и правительства. 15 октября 1964 года указом Президиума Верховного Совета СССР Хрущёв был освобождён от должности Председателя Совета Министров СССР.
В это время первым секретарем ЦК компартии Украины был Пётр Ефимович Шелест. Согласно его дневниковым записям, Брежнев, сменивший Хрущёва, предлагал председателю КГБ Семичастному физически устранить Хрущёва: «Семичастный мне рассказал, что ему Брежнев предлагал физически избавиться от Н.С. Хрущёва, устроив аварию самолёта, автомобильную катастрофу, отравление или арест. Всё это Подгорный подтвердил и сказал, что Семичастным и им все эти “варианты” устранения Хрущёва были отброшены…»
Таким образом, Семичастный являлся ключевой фигурой в смещении Хрущёва. Почему же он, как председатель КГБ, не вернул Грибанова – более того, Грибанов вскоре был исключен из партии. А ведь, как мы видели выше, Семичастный не верил в предательство Носенко. Значит, опала Грибанова была составной частью какой-то другой «Большой игры»? Отметим, что все упоминавшиеся выше участники этих событий – Шелест, Хрущёв, Брежнев, Семичастный, Подгорный, Носенко – являются выходцами с Украины.
С 27 февраля 1965 года Грибанов работал заместителем директора завода № 1134 по режиму и охране Министерства среднего машиностроения СССР, оставаясь в действующем резерве КГБ по должности заместителя начальника отдела Управления. 7 августа 1965 года он был уволен из органов КГБ по статье 59 п. «Д» (по служебному несоответствию) в запас Советской Армии, а также лишен знака «Почётный сотрудник госбезопасности». Тогда же решением Парткомиссии при ЦК КПСС Олег Михайлович Грибанов был исключен из партии.
Однако начальник Главного управления разведки (Hauptverwaltung Aufklärung HVA) Министерства государственной безопасности (MfS) ГДР генерал-полковник Маркус Вольф продолжал называть его либо как «учитель», либо как «дедушка Олег».
