Покинув любезное гостеприимство Ибн Эзраса, Халеви отправился в Лусену и несколько лет учился в тамошней Еврейской академии; он занялся медициной, но стал ее незаурядным практиком. Он основал Еврейский институт в Толедо и читал там лекции по Священному Писанию. Он женился, и у него родилось четверо детей. С возрастом он стал больше думать о несчастьях Израиля, чем о своем собственном процветании; он начал петь о своем народе, его горестях и вере. Как и многие другие евреи, он мечтал закончить свои дни в Палестине.
Комфортные испанские евреи принимали такие стихи за поэтическую позу, но Халеви был искренен. В 1141 году, оставив семью в надежных руках, он начал трудное паломничество в Иерусалим. Неблагоприятные ветры сбили его корабль с курса и привели в Александрию. Там еврейская община устроила ему праздник и умоляла не входить в Иерусалим, находившийся тогда в руках крестоносцев. После некоторой задержки он отправился в Дамиетту и Тир, а затем, по неизвестной причине, в Дамаск. Там он исчез из истории. Легенда гласит, что он добрался до Иерусалима, при первом же взгляде на него преклонил колени, поцеловал землю и был растоптан насмерть арабским всадником.14 Мы не знаем, достиг ли он когда-нибудь города своей мечты. Зато известно, что в Дамаске, возможно, в последний год своей жизни, он написал «Оду Сиону», которую Гете причислил к величайшим поэмам мировой литературы.15