В 1888 году он уже числился в списках кадетов Морского корпуса. Его фамилия всегда была в списке первых воспитанников корпуса по успеваемости, и в 1893 году он был назначен фельдфебелем младшей роты. Еще в ходе учебы Александр вместе с отцом часто посещал Обуховский завод, что дало ему возможность на практике усваивать теоретические знания по артиллерийскому и минному делу.
Морской корпус Александр окончил весной 1894 года вторым в списке и осенью того же года был произведен в мичманы. Первую офицерскую практику он прошел на должности вахтенного начальника броненосца «Рюрик». На следующий год Колчак перевелся на Тихий океан вахтенным начальником «Крейсера». Плавание на «Крейсере» стало первым серьезным походом Колчака. В свободное время он занимался научными работами по океанографии и гидрологии. В 20-м выпуске «Записок по гидрографии», вышедших в Санкт-Петербурге в 1899 году, им были опубликованы «Наблюдения над поверхностными температурами и удельными весами морской воды…», где описывались холодные течения у берегов Кореи.
По возвращении в 1899 году в Петербург лейтенант Колчак узнал о готовящейся Русской полярной экспедиции под руководством барона Э.В. Толя и добился своего включения в состав ее участников. В ходе экспедиции он проводил гидрологические и ряд других исследований, результаты которых систематически сообщал в Академию наук. В 1901 году он вместе с Толем совершил экспедицию на полуостров Челюскин. За 41 день в сильную пургу экспедиция прошла 500 верст. Колчак вел маршрутную съемку и магнитные наблюдения.
В следующем году Колчаку пришлось принять участие уже в другой экспедиции. Стало известно, что санная экспедиция под руководством Толя отправилась к острову Бенетта и пропала. Александр Васильевич получил официальное приглашение возглавить спасательную экспедицию, и он дал согласие. Колчак отправился в Мезень, где нанял матросов, а затем на вельботе отплыл на спасение Толя и его товарищей. В течение 42 дней продолжались поиски. На спасательной шлюпке люди пробивались через прибрежные арктические льды. Колчаку удалось найти то, что осталось от экспедиции, – документы и гидрологические коллекции. Сам Толь и другие участники экспедиции погибли. За свое полярное путешествие Колчак был награжден орденом Св. Владимира 4-й степени. Русское гидрографическое общество наградило его большой Константиновской золотой медалью – исключительной наградой, которую до него имели лишь Н.А. Норденшельд и Ф. Нансен. В 1906 году Русское географическое общество избрало Колчака своим действительным членом.
С началом Русско-японской войны Александр Васильевич отправляется на Тихоокеанскую эскадру в штабе адмирала С.О. Макарова в Порт-Артуре.
В июне 1916 года Колчак был произведен в контр-адмиралы и получил приказ отправиться в Севастополь и принять под свое командование Черноморский флот. Незадолго до своего отъезда с Балтики Колчак был произведен в вице-адмиралы. Черноморский флот не вел активных наступательных действий и ограничивался лишь обороной побережья. Колчак же решил изменить существующее положение. Корабли под личным командованием вице-адмирала начали выходить в открытое море и завязывать бои с кораблями противника. Новым для Черноморского флота стала постановка минных заграждений в Босфоре. Около шести вражеских подлодок подорвались на минах, установленных в проливе под руководством Колчака.
В Севастополе его застала телеграмма Морского министерства о Февральской революции и о переходе всей власти к Временному правительству. Колчак не был по своим взглядам монархистом, более того, он считал, что революция поможет довести войну до победного конца и завоевать черноморские проливы. В первые дни в Севастополе сохранялось спокойствие. Личный состав флота и население города полностью доверяли вице-адмиралу, который пользовался большой популярностью, и это помогало ему сохранять уверенность в проводимой им политике. Даже после получения приказа № 1 Петроградского Совета рабочих и солдатских депутатов Колчак, выступая в Морском собрании, призвал офицеров «сплотиться с командой» и сделать все возможное для успешного завершения войны. Он резко критиковал идеи о дисциплине, основанной на «классовом сознании», подчеркивая, что это может привести к гибели армии и флота.
В июне по Севастополю распространились слухи о тайных собраниях морских офицеров. В городе начались матросские митинги, на которых собравшиеся требовали арестовать некоторых офицеров, а у остальных изъять личное оружие. Александр Васильевич также сдал свой кортик, который смущенные матросы поспешили ему вернуть. Однако Колчак бросил кортик в море, объявив, что в нынешних условиях им может владеть лишь море. В нем все более крепло желание отказаться от командования Черноморским флотом, и в середине июня он передал свои полномочия контр-адмиралу В.К. Лукину, известив обо всем Временное правительство. В ответной телеграмме ему предписывалось срочно прибыть в Петроград и объяснить, с чем связана его несанкционированная отставка.