Ещё ранее Колчак заявил, что считает возможным руководить флотом до тех пор, пока не произойдёт одно из трёх обстоятельств: 1. отказ какого-либо корабля выйти в море или исполнить боевое приказание; 2. смещение подчинёнными с должности кого-либо из начальников без санкции командующего; 3. арест подчинёнными своего начальника. В мае эти обстоятельства стали реальностью. Всё началось с того, что миноносец «Жаркий» отказался выйти на боевое задание, и его пришлось вывести из состава действующих сил. При этом, впрочем, когда адмиралу понадобились добровольцы для крайне опасной операции по установке новых мин вследствие полученной информации о новых немецких подлодках, таковых оказалось столько, что они превысили необходимое количество. Задание было выполнено, несмотря на то, что в ходе него возникла перестрелка с вражескими катерами, и многие получили ранения. Таков был контраст той поры. Вскоре после инцидента с «Жарким» совет, из которого к тому моменту ушли многие члены, с которыми взаимодействовал Колчак, потребовал от адмирала ареста одного из командиров. Александр Васильевич ответил, что санкцию даст только после официального расследования, и тогда арест был произведён самовольно. Колчак обратился к правительству с просьбой об отставке, но Керенский, ставший к тому времени военным и морским министром, её не принял.
Тем не менее, оставаться на посту адмиралу пришлось недолго. Развал флота продолжался. Судостроительные заводы почти не работали, Колчака более не приглашали на проводимые собрания, среди матросов явились неизвестно откуда взявшиеся провокаторы, которые стали распускать слухи о мнимом офицерском заговоре. Арестовать этих агитаторов не было сил. Их речи имели большое разлагающее влияние на матросов, солдат и рабочих. Влияние офицеров быстро падало.
Целый поток клеветы был обрушен на адмирала. На одном из митингов присланные ораторы представили его крупным помещиком, имеющим владения на территории Пруссии, а потому лично заинтересованным в продолжении войны. Александр Васильевич потребовал слова и заявил:
– С самого начала войны, кроме чемоданов, которые я имею и которые моя жена успела захватить с собой из Либавы, я не имею даже движимого имущества, которое всё погибло в Либаве. Я жил там на казённой квартире вместе со своей семьёй. В первые дни был обстрел Либавы, и моя жена, с некоторыми другими жёнами офицеров, бежала из Либавского порта, бросивши всё. Впоследствии это всё было разграблено ввиду хаоса, который произошёл в порту. С 1914-го года я живу только тем, что у меня в чемоданах и каюте. В таком же положении моя семья. И если кто-то обнаружит у меня какое-нибудь имение или недвижимое имущество, или капиталы, я охотно передам их ему, потому что их не существует в природе!
Речь возымела действие, разговоры о мнимых имениях Колчака прекратились. Но положения это не спасло. В начале июня заседание совета постановило отстранить Колчака от должности, разоружить всех офицеров и произвести обыски в их квартирах. Так повела себя команда, о которой в течение одиннадцати месяцев командующий не мог сказать ничего дурного, с которой всё это время не было никаких серьёзных стычек, среди которой до сих пор не было ни единого крупного проступка, преступления, ни одной смертной казни или ссылки на каторжные работы. Когда явившаяся делегация потребовала сдать оружие, адмирал взял свою саблю, полученную за оборону Порт-Артура, поцеловал её и бросил за борт:
– Море мне её дало, морю и отдам.
После этого Александр Васильевич дал телеграмму Керенскому, указав, что ни при каких обстоятельствах не станет больше командовать флотом, передал командование контр-адмиралу Лукину и отправился к себе на квартиру. Вскоре туда явились представители Комитета и провели обыск. Вечером стало известно о возможном аресте, и Колчак поспешил вернуться на корабль, чтобы арест не произошёл на глазах жены и сына. Ночью пришла телеграмма от Керенского, в которой адмиралу было приказано немедленно явиться в Петроград для доклада. Как раз в то время в Севастополь прибыла американская военная миссия адмирала Гленона для изучения постановки минного дела и методов борьбы с подводными лодками. Колчак сообщил, что принять миссии не может, и она, ознакомившись с положением вещей, немедленно уехала. Тогда же Севастополь покинул и Александр Васильевич.