Но, опасаясь Агриппины, жены Клавдия, которая преследовала его за дружбу с Нарциссом, он отошел от дел и десять лет прожил на покое, не занимаясь никакими общественными делами. В 61 году, уже при Нероне, он получил в управление провинцию Африку, которой, по одним сведениям, управлял честно и с большим достоинством, а по другим – напротив, очень дурно. Во всяком случае, вернулся он из провинции, ничуть не разбогатев, потерял доверие заимодавцев и вынужден был все свои имения заложить старшему брату, а для поддержания своего положения заняться торговлей мулами. За это его называли в народе «ослятником». Нерон поначалу обласкал Веспасиана и взял его с собой в знаменитую поездку по Греции. Но после того как Веспасиан заснул во время выступления музицирующего императора, его постигла жестокая немилость: Нерон запретил ему не только сопровождать себя, но и приветствовать. Веспасиан вновь удалился на покой в маленький городок, где жил в безвестности и страхе за свою жизнь, пока вдруг не получил неожиданно провинцию и войско: в 66 году Нерон поручил ему подавить восстание в Иудее. Война здесь приняла необычайно широкий размах, и для победы требовалось большое войско и сильный полководец, которому можно было бы доверить такое дело без опасения; и Веспасиан, по словам того же Светония, оказался избран как человек «… испытанного усердия и неопасный по скромности своего рода и имени».
Боевой путь Веспасиана в Иудее был великолепно описан еврейским историком, перешедшим позднее на сторону римлян, – Иосифом Флавием в труде «Иудейская война». «В Антиохии Веспасиан принял под свое командование армию и стянул отовсюду вспомогательные войска. Свой поход он начал в 67 году, понимая, что ему предстоит изнурительное и опасное предприятие. Иудеи не рисковали биться с легионами в открытом поле, но укрылись за стенами городов и защищались с чрезвычайным упорством. Прежде всего из Птолемаиды римляне вторглись в Галилею и после тяжелой осады взяли Иотапату, большой и хорошо укрепленный город на побережье. Все его население было предано поголовному истреблению. Яффу захватили сходу, а Тивериада сдалась без боя. Жители Тарихеи пытались оказать сопротивление, однако город их был взят с первого приступа. Веспасиан поначалу обещал пленным жизнь и свободу, но потом передумал. Всех пришлых иудеев он отправил в Тивереаду, около тысячи было казнено и еще до сорока тысяч продано в рабство. Расположенная неподалеку Гамала оборонялась с отчаянным упорством. Захватив в конце концов город, римляне перебили в нем даже грудных детей. После этого вся Галилея признала римское господство».
Этот поход принес Веспасиану громкую славу и популярность в армии. Действительно, в первых же сражениях он показал исключительную отвагу, так при осаде Иотапаты он сам был ранен камнем в колено, а в щит его вонзилось несколько стрел. «На марше, – как говорит о нем Тацит, – Веспасиан обычно сам шел впереди войска, умел выбрать место для лагеря, днем и ночью помышлял о победе над врагами, а если надо, разил их могучей рукой, ел, что придется, одеждой и привычками почти не отличался от рядового солдата, – словом, если бы не алчность, его можно было бы счесть за римского полководца древних времен».
Во время начавшейся после смерти Нерона борьбы за власть между Гальбой, Отоном и Виттелием, хитрый и расчетливый Веспасиан последовательно признал всех троих и при каждом перевороте приводил свои легионы к присяге на верность новому принцепсу. Хотя он умел повиноваться так же, как и повелевать, все же известия о бесчинствах вителлианцев в Риме привели его в негодование. Вителлия он от души презирал и считал недостойным престола. «Между тем, – пишет Флавий, – военачальники и солдаты на своих товарищеских сходках открыто совещались о перемене правления, и все громче раздавалось требование провозгласить Веспасиана императором».