Желая консолидировать силы и укрепить дух активистов, уставших от явных и завуалированных притеснений властей, 20 апреля 1920 г. сионисты созвали Всероссийскую конференцию (съезд) своей организации в Москве. Однако на третий день конференция была разогнана, а ее участники арестованы. После этого Сионистская организация была фактически объявлена вне закона. Секретный циркуляр от 1 июля 1920 г., разосланный руководством ВЧК в ее губернские отделения, разъяснял, что почти вся еврейская интеллигенция России проникнута сионистскими идеями и что это чревато потерей советской властью большого числа необходимых ей специалистов: врачей, инженеров, архитекторов и пр. В борьбе с сионизмом ВЧК предлагала не выходить за рамки следующих мер: а) наблюдать и регистрировать; б) отказывать в помещениях для собраний, а в случаях тайных собраний арестовывать на сутки их участников; в) перехватывать партийную переписку; г) не выдавать проездных билетов по мандатам сионистских организаций; д) под разными предлогами отнимать у них помещения. При этом власти, опасаясь обвинений в антисемитизме, пока избегали официального запрещения сионизма. После ареста участников Московской конференции руководство сионистской организацией переместилось в Москву, где образовалось нелегальное Центральное Бюро во главе с Элиэзером Чериковером. В его работе участвовали оставшиеся члены Петроградского ЦК.
Трудность нелегальной работы для СО состояла в том, что ее лидеры, представители среднего класса и интеллигентских кругов, были мало привычны к работе в подполье. В отличие от социалистов, у них почти не было опыта царских тюрем и ссылок. Поэтому неудивительно, что большинство признанных лидеров сионистского движения Петрограда эмигрировало из России, отказавшись от продолжения борьбы. Их место постепенно занимала молодежь, готовая к тяготам нелегального существования при советском режиме.
ЦК Сионистской народной фракции Цейре Цион (Молодежь Сиона, далее — ЦЦ), которая являлась умеренной социалистической фракцией Сионистской организации, находился в Петрограде до мая 1918 г. Умеренность ЦЦ выражалась в том, что ее члены считали практическую работу по освоению Палестины своим насущным делом, а образование там социалистического общества — задачей будущего. Еще на 7-м съезде сионистов России цейреционовцам была обеспечена автономия в партии. На основе компромиссной программы, принятой тогда же, на 2-м Петроградском съезде Цейре Цион, фракция быстро росла и превратилась в сущности в отдельную партию. Ее ЦК в Петрограде управлял сотнями отделений, насчитывавшими до 50 тыс. членов. На московской конференции в мае 1918 г. ЦЦ обязала своих членов организовывать самооборону и высказалась за федеративную структуру СО. В 1919 г. центр активности фракции переместился в Киев, где политическая обстановка и близость к массам обещали более плодотворную работу.
Большое влияние в Петрограде имел Хехавер (Товарищ) — внепартийный союз сионистского студенчества. Основанный в 1912 г. российскими студентами в Западной Европе, в России он был на нелегальном положении до Февральской революции. Председателем и признанным лидером Хехавера до 1917 г. являлся Аврахам Идельсон (Илон) (не путать с редактором Рассвета), основатель ячейки организации в Политехническом институте. Хехавер видел свою задачу в подготовке интеллигенции к участию в сионистском движении на основе признания Базельской программы. В его деятельности упор делался на духовное развитие членов посредством проведения семинаров, самообразования, изучения иврита, еврейской истории, палестиноведения. В столице заседал ЦК Хехавера, и с 1915 г. по январь 1918 г. выходил его печатный орган Еврейский студент.
В апреле 1917 г. в Петрограде в торжественной обстановке состоялся 6-й, на этот раз легальный, съезд организации. Весной 1918 г., когда город оказался по существу отрезанным от страны, было основано Временное Организационное бюро Хехавера в Мо-скве для текущего руководства отделениями. К осени 1918 г. активность Бюро в Москве снизилась, поэтому к началу 1919 г. руководство вернулось к Петроградскому центру. На Всероссийской конференции в сентябре 1919 г. ЦК был снова переведен в Москву. 24 ноября 1919 г. по инициативе ЦК СО Хехавер организовал в Петрограде студенческий митинг, на котором выступили члены ЦК. Весной 1920 г. большинство членов ЦК Хехавера были арестованы вместе с участниками Сионистской конференции, в результате чего работа в Москве и Петрограде временно заглохла. Одновременно с Хехавером в Петрограде существовала Корпорация студентов-сионистов «Гедера», основанная в 1918 г., которая имела гораздо меньше влияния, чем Хехавер, и конфликтовала с ним.
