Юлиан немедленно отправился в Галлию и провел зиму в Виенне, напряженно готовясь к войне. Жизнь он вел самую умеренную: довольствовался простой и случайной пищей рядового солдата, спал на войлоке и бараньем тулупе, ночи проводил в государственных делах и за философскими занятиями, а дни всецело отдавал военным заботам. Летом 356 года он двинулся в Германию. Марцелин пишет: «Часть алеманнов он устрашил и прогнал одним своим появлением, других разбил в сражении при Бротомаге. Варвары были ошеломлены, но не собирались складывать оружие. Когда Юлиан отступил с частью сил на зимовку в Сеноны, ему пришлось выдержать их месячную осаду. Весной 357 года он опять выступил против врагов, вышел к берегам Рейна и восстановил здесь Три Таверны – старое римское укрепление, недавно взятое и разрушенное алеманнами. Вскоре он узнал, что семь алеманнских царей собрали свои силы близ города Аргентората, и поспешил навстречу врагу. Когда две армии сошлись друг с другом, Юлиан построил свои легионы, расположив всю конницу на правом фланге. Германцы настолько были уверены в своем превосходстве, что первыми атаковали римский строй. Римская конница не выдержала и подалась назад, но легионеры, плотно сомкнув щиты, сдержали удар. Началась упорная битва. Долгое время было неясно, на чью сторону склоняется успех. Однако, в конце концов, превосходство римского оружия дало о себе знать. В попытке прорвать римский строй множество варваров было перебито, остальные стали отступать и наконец обратились в бегство. Юлиан преследовал их до самого Рейна».
Враг был изгнан из римских провинций, но Юлиан решил не давать ему покоя даже в собственных землях. Он перевел войско через Рейн и внезапно напал на алеманнские поселения. Римляне захватывали в плен людей, а все остальное предавали огню и уничтожению. Видя это страшное опустошение, цари алеманнов отправили к Юлиану посольства с мирными предложениями. Он согласился дать им десятимесячное перемирие и возвратился на зимние квартиры в Галлию. В 358 году Юлиан выступил против салических франков, которые обосновались на римской территории вблизи Токсиандрии. Обрушившись на них, он принудил их просить мира и принял в римское подданство. Затем он так же стремительно напал на хамавов, многих перебил, а остальных изгнал за пределы Империи. Вскоре хамавы прислали послов, обещали покориться Риму и получили позволение вернуться в свои разоренные селения.
Очистив Галлию, Юлиан вновь напал на алеманнов – он во второй раз переправился через Рейн и двинулся в глубь Германии. Рассвирепевшие солдаты предавали поля огню, угоняли скот, а людей убивали без пощады. Видя это страшное разорение, цари алеманнов один за другим стали просить мира. Они обязались выдать пленных и снабдить Юлиана всем необходимым для строительства крепостей.
В 359 году были восстановлены семь старых римских пограничных городов, разрушенных германцами. Затем Юлиан в третий раз переправился через Рейн и пошел на тех царей, которые еще медлили с изъявлением покорности. После того как их поля и жилища были сожжены и многие из их племени взяты в плен и перебиты, эти цари прислали послов и смиренно просили пощады. Юлиан заключил с ними мир.
Закончив за четыре года тяжелую войну, Юлиан вновь укрепил западные границы Империи и добился таких успехов, каких от него никто не ожидал. Тем временем Констанций боролся на Дунае против квадов и сарматов. В 359 году персидский царь Шапур II с большими силами перешел Тигр и напал на римские владения. Император был вынужден отправиться на Восток. Встревоженный ростом популярности молодого Юлиана, Констанций решил под предлогом начала войны с персами отобрать у него самые боеспособные части – германские вспомогательные войска. Но когда в 360 году германские отряды узнали, что их перебрасывают на восток, они взялись за оружие и взбунтовались, так как по договору с варварами, служившими в его армии, Юлиан не имел права отправлять их из Галлии. Вспыхнул мятеж, окончившийся тем, что зимой 360 года галльские войска в Паризии (современном Париже) провозгласили Юлиана августом. Он уже пользовался среди них большой популярностью за свои военные и административные способности. Аммиан пишет, что «Юлиан упорно сопротивлялся настояниям всей толпы: он то выказывал негодование, то простирал руки, моля и заклиная, чтобы они не совершали недостойного дела, но наконец должен был уступить. Его поставили на щит и, за неимением диадемы, возложили на голову цепь, которую сорвал с себя один из знаменосцев. Извещая о своем избрании, Юлиан отправил Констанцию два письма: в одном, официальном, не было ничего вызывающего или оскорбительного. Но другое, личное, содержало порицания и едкие нападки. Он обратился к Констанцию с требованием признать его августом и очистить Запад от своих войск. Император продолжал войну с персами, не давая никакого ответа.