Приказом Наркомата ВМФ от 31 декабря 1939 г. на «Ермак» дополнительно назначалась команда военных моряков. По штатам военного времени на ледоколе числились четыре человека начальствующего состава, 16 человек младшего начальствующего состава и 53 рядовых.
Во время войны «Ермак» осуществил ледовую проводку большого числа кораблей и судов. 10 января «Ермак» совместно с ледоколами «Силач» и «Трувор» принял участие в проводке эсминца «Энгельс», канонерской лодки «Красное Знамя» и транспорта «Горняк» к острову Гогланд. Следуя шхерным фарватером в условиях плохой видимости, «Ермак» сел на мель между островами Сескар и Пенисаари и получил повреждения по днищу всего левого борта. Благодаря усилиям экипажа судно удалось снять с мели, временно заделать пробоину и «Ермак» продолжил работу. Во время этого же похода 13 января ледокол безрезультатно атаковали финские самолеты. Через три дня «Ермак» снова подвергся атаке финского пикировщика, но и он не смог добиться попадания.
18 января ледокол подвергся атаке финского ледокола «Тармо», поддержанного авиацией. Атаки вражеских самолетов удалось отразить огнем установленных на ледоколе средств ПВО. Через некоторое время на помощь «Ермаку» прибыли советские самолеты, которые вынудили финский ледокол отступить. «Тармо» получил два попадания в носовую часть и потерял 39 человек из состава экипажа убитыми и 13 ранеными Однако советское судно едва не стало жертвой авиабомб, сброшенных своими же летчиками. Два бомбардировщика ДБ-3 1-го минно-торпедного авиаполка Военно-воздушных сил Краснознаменного Балтийского флота сбросили по ошибке на «Ермак» 20 ФАБ-100, которые легли мимо.
Боевые действия закончились 13 марта, а уже в апреле «Ермак» провел караван транспортов в бухту Ханко (этот полуостров был передан Финляндией в аренду СССР после окончания войны).
За отличия в советско-финской войне ряд членов экипажа ледокола был представлен к правительственным наградам. Комендант и военком ледокола обратились к Военному Совету КБФ с просьбой ходатайствовать перед правительством о награждении корабля орденом (но произошло это лишь через девять лет, в 1949 году). Циркуляром начальника Главного Морского штаба от 4 июля 1940 г. ледокол был исключен из состава КБФ в связи с передачей прежнему владельцу (с 20 июня).
Начало Великой Отечественной войны «Ермак» встретил, стоя на ремонте в Ленинградском порту. Уже 27 июня 1941 года ледокол перешел в подчинение Краснознаменного Балтийского флота вместе с экипажем. С 4 октября он входил в состав Группы вооруженных ледоколов Ленинградской военно-морской базы.
Решение Военного Совета КБФ о вооружении ледоколов было принято 22 ноября 1941 года. В годы войны на «Ермаке» устанавливалось артиллерийское вооружение, состав которого неоднократно менялся.
Состав вооружения и количестве боеприпасов на ледоколе «Ермак»по состоянию на 25 июля 1942 г.
Артиллерия
102-мм орудий – 2
76,2-мм орудий – 2
45-мм орудий – 6
Полутораметровых дальномеров – 2
Стрелковое вооружение
Противотанковые ружья – 2
Автоматы ППШ – 10
Автоматы ППД – 5
Самозарядные винтовки – 9
Винтовки обр. 1891/30 г. – 57
Револьверы «наган» – 10
Пистолеты ТТ – 1
Артиллерийский боезапас
102-мм фугасные снаряды – 246
102-мм шрапнельные снаряды – 53
102-мм осветительные снаряды – 20
76,2-мм гранаты (снаряды) – 430
76,2-мм шрапнельные снаряды – 590
45-мм трассирующие снаряды – 2248
45-мм фугасные снаряды – 230
45-мм бронебойные снаряды – 50
45-мм практические снаряды – 24
Боезапас к стрелковому оружию
Патроны простые, шт. – 13 215
Патроны к ТТ, шт. – 5000
Патроны к «нагану», шт. – 994
Патроны к 14,5 ПТР бронебойные, шт. – 200
Патроны к 14,5 ПТР «БЗ», шт. – 40
Гранаты Ф-1 – 112
Гранаты РГД – 246
После включения ледокола в состав ВМФ был разработан проект штатного расписания, по которому экипаж должен состоять из 256 человек. На самом деле, даже в период активной работы ледокола, численность его экипажа и военной команды была несколько меньшей. В дальнейшем, после того как «Ермак» встал на Неве и не занимался проводкой судов, часть моряков из его команды убыла на сухопутный фронт. В феврале – марте 1942 года на ледоколе сформировали стрелковую роту (3 стрелковых, 1 минометный и 1 пулеметный взводы). 16 июля 1942 года команда ледокола состояла из 172 человек.
Работа «Ермака» по проводке судов между Ленинградом и Кронштадтом осенью – зимой 1941 г. описана в «Донесении о боевых соприкосновениях ледокола «Ермак» за кампанию 1941 года», датированном январем 1942 г. и подписанном капитаном «Ермака» Сорокиным и капитаном 3-го ранга Л. В. Дубровицким.
«