Барон Гинцбург находился в постоянных сношениях с провинцией в лице общественных деятелей, которые там жили. В более важных случаях отдельные представители приезжали по вызову Гинцбурга и приезжали сами, когда по местным надобностям было необходимо предпринимать шаги перед центральной властью столицы. Это живое общение с провинцией придавало работе Гинцбурга общественный характер. Гинцбург был не только представителем так называемой прогрессивной части еврейства, но и находился в центре интересов ортодоксального еврейства — тех религиозных интересов, которые занимали духовных раввинов. Я упомяну о раввине, которого я в начале моей деятельности уже не застал в живых, но который оставил по себе неизгладимую память у современников; ныне, впрочем, он почти забыт. Я говорю о ковенском рабби Ицхок-Эльхононе (по фамилии Спектор; его дети потом имели фамилию Рабинович). Он был в тесной дружбе с бароном Гинцбургом. Последний всегда ссылался на его авторитет в вопросах, касающихся религиозной и духовной жизни евреев. Барон Гинцбург вспоминал о нем всегда с умилением и считал его одним из самых крупных, светлых явлений на фоне еврейской ортодоксии. Рабби Ицхок-Эльхонон был человек не только исключительных знаний в области иудаизма, но и с большим практическим умом, свободным от нетерпимости, и с теплым и чутким отношением к вопросам общественным; он не относился враждебно к движению евреев по пути просвещения и прогресса. Переписка между Гинцбургом и рабби Ицхок-Эльхононом, сохранившаяся в архиве Гинцбурга, свидетельствует об этом. Кроме барона Гинцбурга рабби Ицхок-Эльхонон был в переписке с профессором Бакстом. Последний не уставал рассказывать о высоких душевных и умственных качествах этого великого еврея. Его влияние на литовское еврейство было огромное и затмило влияние любавичского цадика на хасидские круги. Оно было велико и за границей. Рабби Ицхок-Эльхонон был, может быть, первым из тех раввинов, которые связывали, через ортодоксальное западное еврейство, евреев Европы с русским еврейством.
В середине восьмидесятых годов, почти одновременно с закрытием паленской комиссии, правительство приступило к репрессиям по отношению к ешиботам. Приказано было закрыть Воложинский ешибот — этот главнейший и знаменитейший рассадник талмудического знания. Рабби Ицхок-Эльхонон своею энергией возбудил энергию деятелей в Петербурге, и ешиботы удалось под разными предлогами отстоять.
Ко времени, когда я вступил в сношения с Гинцбургом, рабби Ицхок-Эльхонона замещал, хотя и не мог заменить, его сын, бывший тогда магидом в Вильне, а впоследствии ковенский раввин, рабби Гирш Рабинович. Он был известной в провинции фигурой на фоне еврейских общественных дел. Вокруг него группировались духовные раввины не только Северо-Западного края, но и других областей. Он являлся как бы преемником своего отца по влиянию в Петербурге и по добрым отношениям с Гинцбургом; он, так же как и рабби Ицхок-Эльхонон, сохранял постоянные сношения и с Бакстом, который также тепло и чутко относился к религиозным потребностям еврейства, отстаиваемым духовным раввинатом. Гирш Рабинович был известен с лучшей стороны представителям правительства. Он говорил по-русски (в молодости он был купцом) и мог являться лично к высоким чиновникам по разным делам и пользовался всегда доверием начальства. Когда в 1893 году созвана была раввинская комиссия, он был назначен председателем ее. Гирш Рабинович поддерживал сношения и с заграничными еврейскими кругами, был в постоянной переписке и личных сношениях с берлинским раввином, доктором Гильдесгеймером, и пользовался большим уважением доктора Горвица, влиятельного раввина во Франкфурте-на-Майне. Я от последнего лично слышал лестные отзывы о высоких качествах Рабиновича и о его заслугах перед еврейством. Благодаря влиянию Рабиновича отдельные лица и организации за границей заинтересовались религиозными учреждениями в России и поддерживали их материально, в чем всегда была неотложная нужда.
Общественные еврейские дела в провинции носили тот же характер, какой сложился в центре, в Петербурге. И там интересы еврейства представлялись отдельными лицами, не имевшими за собой никаких общественных организаций, действовавшими как; добровольцы, но пользовавшимися общим признанием в местной среде. С большинством из них мне приходилось потом встречаться и быть в более или менее постоянном общении. Местных нужд было немало.