Осенью 1939 года в связи с Освободительным походом Красной Армии в Западную Украину и в Западную Белоруссию был направлен в правительственную командировку в город Брест-Литовский (ныне – Брест Республики Беларусь), где принял должность заместителя начальника Линейного отделения милиции станции Брест-Литовский. В данной должности, но уже на штатной основе был утверждён приказом НКВД СССР № 322 от 10 марта 1940 года. На основании приказа НКВД СССР №1517 от 24 сентября 1940 года назначен начальником Линейного отделения милиции станции Брест-Литовский. В первые минуты гитлеровского агрессии против СССР возглавил оборону железнодорожного комплекса станции Брест и, в том числе, Брестского железнодорожного вокзала. С этой целью сплотил вокруг себя не только подчинённых по возглавляемому ЛОМ, но и разрозненные группы военнослужащих войск Наркомата внутренних дел СССР из 17-го Брестского пограничного Краснознамённого отряда и 60-го стрелкового полка войск НКВД СССР по охране железнодорожных сооружений, а также, не исключено, – стрелков местных подразделений железнодорожного ВОХР.
Свои позиции солдаты правопорядка стойко удерживали вплоть до 25 июня 1941 года. Лишь ближе к вечеру двадцать пятого числа оставшиеся в живых по условному сигналу лейтенанта милиции А.Я. Воробьёва нанесли внезапный штыковой удар, что позволило им не только вырваться наружу из подвалов здания вокзала, где они к тому времени были плотно блокированы превосходящими силами противника, но и прорвать кольцо вражеского окружения в направлении Кобрина. Среди милиционеров, вырвавшихся с боем из оккупированного Бреста, А.Я. Воробьёва не оказалось.
Как выяснилось уже после войны, вечером 25 июня 1941 года он не устоял перед соблазном заглянуть домой, чтобы попрощаться с семьёй – женой, сыном и дочкой. Но стоило ему только появиться на пороге, как следом в квартиру ворвались ожидавшие его в засаде каратели. Уже с заломаными за спину руками успел крикнуть 12-летнему сынишке Вадиму: «Будь героем, сын!».
