Жить стало негде, и выход оставался только один: уезжать из страны как можно быстрее. Тем более что литературная жизнь Ирландии все более раздражала Джойса и выполнять свою миссию в такой обстановке он не мог. Написав Норе письмо о невозможности существовать в стране, где «нет жизни, нет ни естественности, ни честности», он начал принимать все меры к предстоящему отъезду, на сей раз окончательному.
Первое, что сделал Джойс для того, чтобы ускорить осуществление своего намерения, — занял денег у всех, кто не мог ему отказать в этой просьбе. Говорят, он брал в долг даже предметы домашнего обихода, вплоть до таких мелочей, как зубной порошок (ничего своего у него не было).
9 октября 1904 года Джеймс и Нора навсегда уехали из Ирландии. Еще до отъезда писатель успел позаботиться о том, чтобы обеспечить себе за границей стабильный заработок, и вакантная должность не заставила себя ждать. В начале XX века по всей Европе была раскинута сеть так называемых Школ Берлица, где преподавали иностранные языки для взрослых. В одной из таких школ, расположенной в Цюрихе, и предложили место Джойсу. Однако должность оказалась занята, и писателя отправили в захолустный городок Пула, а оттуда — в Триест.
С первого взгляда на этот город художник пришел в восторг, и неудивительно, что он прожил в Триесте следующие 10 лет. Спустя несколько месяцев после прибытия он уговорил приехать туда своего брата Станни, который всегда исполнял роль верного помощника во всех его делах. Конечно, моральная поддержка брата Джойсу не помешала, но еще важнее была регулярная финансовая помощь, в которой Станни никогда не отказывал Джеймсу, патологически не умевшему зарабатывать и экономить деньги. Несмотря на то что с отъездом из Ирландии весь материальный мир (кроме Норы) отодвинулся от писателя еще дальше и утратил значение даже литературного материала, деньги были необходимы Джойсу хотя бы для того, чтобы голодная смерть не помешала ему исполнить свою великую миссию.
Летом 1906 года в Школе наступил финансовый кризис, и для того, чтобы добыть какие бы то ни было средства к существованию, Джойс отправился в Рим, где недолгое время занимал скромную должность банковского служащего. Скучная, утомительная, бессмысленная работа пришлась не по душе деятельному и энергичному Джеймсу, а довольно скудное ежемесячное жалованье он в силу широты своей натуры моментально тратил (по большей части на выпивку). Да и сам Рим Джойсу не понравился, напомнив писателю, по его собственному выражению, «человека, промышляющего тем, что показывает желающим труп своей бабушки». Так, бросив работу в банке, Джойс вернулся в Триест, где его по-прежнему ожидала нищета.
Нора во второй раз была беременна (у Джойса уже имелся сын), и в июле 1907 года в палате для бедняков она родила дочь, получив благотворительное пособие. Материальные возможности Джеймса, который к тому же всегда мог рассчитывать на кошелек верного брата, вполне позволяли ему вести безбедное существование, но он никогда не стремился жить по средствам, считая расточительность достоинством.
Однако вскоре финансовое положение Джойса несколько наладилось, и он поспешил использовать этот короткий промежуток стабильности для воплощения в жизнь своего давнего намерения, а именно — визита на родину. Некоторые произошедшие там события убедили его никогда более не пытаться восстановить утраченную связь с покинутой страной.
В 1907 году писатель закончил сборник рассказов «Дублинцы» и теперь предпринимал попытки опубликовать его у себя на родине. Однако издатели один за другим отвергали «неприличную» книгу, в которой, кстати, на взгляд современного человека, нет ни малейшего намека на непристойность. В конце концов автор обратился к некоему Дж. Роберте, с которым некогда был хорошо знаком.
Сначала издатель согласился, правда потребовав от Джойса внесения бесчисленных изменений и купюр, и в 1912 году писатель приехал в Ирландию только для того, чтобы наконец увидеть выход в свет своего детища. Но издатель поразил и просто уничтожил его, объявив уже отпечатанный сборник непатриотичным, и в один прекрасный день книга была в буквальном смысле казнена. И это поистине трагическое для Джойса событие стало причиной полного разрыва с родиной. Писатель принял решение больше никогда не возвращаться в Ирландию.
Последовавший за этим период стал одним из самых тяжелых в жизни Джойса. Дерзкий и жестокий сатирический памфлет «Газ из горелки», адресованный ирландским литераторам и написанный как отклик на драматическую эпопею с «Дублинцами», лишил его всех возможностей печататься. До 1914 года писатель пребывал в глубоком и безнадежном отчаянии.
Перелом наступил тогда, когда известный литератор Эзра Паунд, одним из первых по-настоящему оценив дарование Джойса, предложил ему печатать свои произведения в 4 журналах, одним из которых был лондонский «Эгоист».