Иван Григорович родился в Петербурге в семье морского офицера из потомственных дворян. Детские годы провел в Ревеле, где учился — удивительное совпадение! — в одном классе с еще двумя будущими морскими знаменитостями: Владимиром Бэром, будущим командиром крейсера «Варяг», и Евгением Егорьевым, будущим командиром крейсера «Аврора». В 18 лет поступил в Морской кадетский корпус в Петербурге, тот самый, на котором теперь установлены мемориальные доски с перечислением имен будущих героев российского и советского флотов. Потом долго плавал на разных кораблях, участвовал во многих кампаниях, неоднократно был награжден.
В 1896 году Григоровича отправили военно-морским атташе в Лондон, где ему пришлось также надзирать за строительством заказанных Россией броненосца «Цесаревич» и крейсера «Баян». Во главе этого «Цесаревича» он и отправился потом на войну с Японией. Она закончилась бесславно для России, однако сам Григорович и его корабль сражались героически. Во время внезапного нападения японцев на Порт-Артур «Цесаревич» был подорван на рейде, но остался на плаву и всю ночь стойко отражал атаки неприятеля, а его капитан был контужен. Затем «Цесаревичу» удалось прорваться в Циндао, а позднее этот корабль участвовал в оказании помощи населению разрушенного страшным землетрясением итальянского города Мессина. Многие историки того времени считали, что, несмотря на неудачу России в войне с Японией, сам Григорович был достоин наивысших похвал. Один из его современников писал: «Энергия и распорядительность Ивана Константиновича творят чудеса… Флот существует, и заслуга в том Григоровича бесспорна».
После войны с Японией Григоровича, уже ставшего адмиралом, назначил начальником штаба Черноморского флота и портов Черного моря. 14 мая 1906 года он был чуть не убит террористами. На параде в Севастополе они бросили в него бомбу, Григорович был контужен в голову. Затем его перевели на Балтику, в порт Либаву. Тогда там вдруг появились странные матросы, которые выходили из казармы и шли на службу с клетками с белыми мышами. Местные жители с недоумением качали головами. Но то были члены созданного Григоровичем первого в России учебного отряда подводного плавания. Мыши подводникам были нужны, чтобы определять под водой пригодность воздуха для дыхания, поскольку специальных приборов тогда еще не было. Григорович одним из первых понял важнейшую роль будущей подводной войны и развернул потом в России строительство подводных лодок.
