Из Пскова я часто ездил в свой родной Петербург и поддерживал старые знакомства. Из Орла было труднее предпринимать такие поездки, но все же раза два в году, минуя мало мне знакомую Москву, я появлялся в Петербурге. Наиболее памятна мне поездка в Петербург летом 1902 года, на съезд земских статистиков, организованный Вольным экономическим обществом. Съезд был многочисленный и оживленный, со множеством докладов на общеэкономические и специально-технические темы. Закончился он банкетом в ресторане «Малый Ярославец» под председательством маститого Н. Ф. Анненского. Настроение на банкете было повышенное, а речи если не прямо революционные, то во всяком случае чрезвычайно резкие по отношению к правительству и его внутренней политике. Съездом статистиков воспользовалась инициативная группа возникавшего тогда Союза Освобождения и устроила в частной библиотеке Н. А. Рубакина закрытое собрание, на которое было приглашено человек пятьдесят из съехавшихся со всех концов России земских статистиков. В число приглашенных попал и я. Вступительное слово к нашей беседе произнес незнакомый мне человек лет сорока в золотых очках, с редкой желтоватой бородкой и умными глазами под шишковатым лбом. Это был П. Н. Милюков. Он начал речь осторожно, издалека. Говорил о разобщенности нашей интеллигенции, которая, однако, может представить собой большую силу, имея в виду, что даже люди разномыслящие невольно объединяются в своих ближайших политических целях, т. е. в борьбе за свободу и правопорядок. Не хватает лишь у них организованности, которую и надлежало бы создать.
В этой неопределенной и туманной речи присутствовавшие на собрании правоверные социал-демократы сразу почувствовали зарождение конкурирующей политической группы, опасной для них ввиду их стремления стать вместе с организуемыми ими рабочими «авангардом русской революции». Поэтому они решительно восстали против мыслей Милюкова о самостоятельной организации интеллигенции. Завязался нескончаемый спор, так ничем и не закончившийся. Однако присутствовавшие на этом собрании инициаторы Союза Освобождения, прислушавшись к происходившему обмену мнений, наметили среди нас людей, сочувствовавших их делу, и несколько человек (в числе их и я) получили приглашение на следующий день явиться на дачу Н. Ф. Анненского в Куоккале (станция Финляндской железной дороги), на конспиративное собрание. В Куоккале собралось человек двадцать. В числе их помню, кроме хозяина, Н. Ф. Анненского, еще следующих лиц: кн. Д. И. Шаховского, А. В. Пешехонова, П. Н. Милюкова, В. Я. Богучарского, Г. А. Фальборка, В. И. Чарнолусского, В. А. Мякотина, Н. А. Белоконского. Остальных забыл.