В 1896 году ожидалась коронация царя. Московская охранка решила обезопасить себя от неприятностей и постаралась выслать из Москвы всех неблагонадежных. По распоряжению министра народного просвещения графа Делянова из Императорского технического училища были уволены 27 студентов. Воровского выслали в Вологду, А. Бриллинга — в Могилев, Н. Башкова — в Харьков. Ссылка в Вологде затянулась до августа. Воровский скучал и рвался в Москву. Только 28 августа министр Делянов разрешил студентам продолжать учебу.
Так шаг за шагом полиция следила за группой студентов-техников, руководившей в начале 1897 года московским Рабочим союзом.
В ночь с 3 (16) на 4 (17) апреля 1897 года в Москве были большие аресты. Вот что писал по этому поводу московский генерал-губернатор: «Ввиду возможного в Москве отражения ожидаемых в Петербурге многолюдных рабочих манифестаций (имеется в виду праздник 1 Мая), сегодня, 4(17) апреля, ночью, арестованы все известные авторитетные агитаторы из интеллигентов и рабочих, в количестве нижепоименованных 56 лиц».
Сквозь сон Воровский услышал сильный стук в дверь. Он хотел было повернуться на другой бок и заснуть, но стук повторился. Кто-то настойчиво ломился в дверь. Вацлав включил свет и взглянул на часы: было 3 часа ночи.
На вопрос: «Кто там?» — ответили: «Телеграмма». Вацлав открыл дверь. Вместе с дворником вошли жандармы. Начался обыск. Воровский старался быть хладнокровным. Он успокаивал свою первую жену Юлию Адамовну, которая никак не могла понять, почему кто-то роется в ее бельевом шкафу, обшаривает письменный стол, откладывает в сторону бумаги.
Старший помощник пристава Неклюдов, производивший обыск, записывал в протоколе: «Ввиду же обнаружения в переписке некоторых предметов, свидетельствующих принадлежность Воровского к преступному обществу, положил задержать Воровского и препроводить на распоряжение Московского Охранного Отделения…»
При обыске у Воровского нашли много предосудительной литературы, рукописей и выписок из марксистских книг. Среди вороха книг и бумаг, отобранных у него, имелись: третий том «Капитала», рукопись книги Энгельса «Анти-Дюринг», «Введение к критике философии права Гегеля» Маркса, список фабрик и заводов по 2-му участку Басманной части и другие.
В ту же ночь были арестованы товарищи Воровского по революционной работе: Илья Бабаджан, Николай Вашков, Клавдия Величкина и рабочие-литографщики, занимавшиеся изданием марксистской литературы и прокламаций.
Вацлав Воровский был водворен в Таганскую тюрьму. В ней он провел около двух лет.
21 января 1899 года Воровский вышел из Таганской тюрьмы. Ему было разрешено провести два дня в кругу своей семьи.
В хлопотах и сборах время пролетело быстро. Мать Вацлава Вацлавовича решила сопровождать сына и сноху до места ссылки. «Хочу посмотреть, как устроитесь», — заявила она. И вот настал день отъезда. К Курскому вокзалу подъехали санки. Из них вышли в теплом пальто сутуловатый Воровский с женой, вся закутанная в шаль мать Августина Устиновна.
В ссылке Воровский продолжал заниматься самообразованием, много читал, аккуратно следил за периодическими изданиями, вел беседы среди ссыльных.
Шести рублей казенного пособия Воровскому с женой не хватало. Тогда Вацлав Вацлавович стал искать работу по специальности инженера. Скоро подвернулся случай: ему предложили строительство гимназии в Орлове (теперь школа имени Воровского). Иногда он выезжал в Вятку, где ему поручались разные строительные работы.
Как-то весной 1901 года из поездки в Москву вернулась Юлия Адамовна и привезла пачку свежих газет и журналов. Разбирая их, Воровский натолкнулся в «Русском богатстве» на заметку обозревателя В. Подарского, в которой шла речь о статье Ю. Адамовича (это был псевдоним В. В. Воровского). Он все же очень любил свою первую жену Юлию Адамовну, поэтому и выбрал такой псевдоним.
В «Русском богатстве» он прочел: «Гораздо более интересно «Письмо в редакцию» г. Ю. Адамовича, который называет себя в этой заметке (по поводу г. Струве) «профаном», но рассуждает авторитетно и со своей точки зрения очень последовательно, так что дай Аллах и всякому специалисту так рассуждать».
Личная жизнь Воровского в ссылке сложилась неудачно. Резкий, неуравновешенный характер Юлии Адамовны в глухом, скучном Орлове начал принимать формы настоящей истерии.
Следует отметить, что Воровский как будто нарочно обращал свое внимание на нервных женщин. Ведь и его вторая жена умерла от нервного потрясения, после убийства Воровского. Да, нервные женщины более чувствительные, отзывчивые, а значит, и гораздо интереснее, чем «железные леди».
Первая жена Воровского сетовала на ссылку, обвиняла во всем Вацлава Вацлавовича. Чтобы развеять немного скуку, Юлия Адамовна часто выезжала за границу, в Москву, Петербург.
Там она заводила многочисленных любовников, но и это не помогало. Ее работа (она была художницей) не приносила ей радости и удовлетворения.