Старший их сын кн. Павел Васильевич Долгорукий (овдовевший уже отец Елены Павловны) скромно проживал по соседству от родителей в своем небольшом именьице из ста душ крестьян. Он был пожалован офицерским чином еще в колыбели: служил всегда в военной службе, участвовал почти во всех походах и военных делах того времени и мог бы сделать блестящую карьеру, если-бы не вышел в отставку в чине генерал-майора в начале царствования Императора Павла, не желая брать на себя выполнение тогда вводимых строгостей по отношению к подчиненным и разных суровых мер в военной дисциплине, — чем возбудил неудовольствие Императора, который его очень любил и знал с детства. Потом кн. Павел Васильевич неоднократно получал приглашения продолжать снова службу, но уже не желал возобновлять ее. Он был человек далеко не заурядный, отличавшийся высоко просвещенным умом и многосторонними специальными познаниями, пользовавшийся большим уважением всех знавших его. Все свое свободное время проводил он за серьезными занятиями в своей громадной библиотеке, составленной преимущественно из книг ученого содержания, по всем отраслям знания и всяких языков. Он хорошо знал несколько древних и новых языков и совершенно свободно изъяснялся на них. Деревенская жизнь не прервала его отношений к большому свету; близкие родственные и дружеские связи его с знатнейшими домами обеих столиц поддерживались постоянными сношениями и перепиской. Затрачивая значительную часть своих умеренных доходов на книги и разные научные предметы, он должен был ограничивать себя во всем остальном. Одевался очень просто, даже бедно, что подавало иногда повод к довольно забавным ошибкам. Так, однажды, станционный смотритель ближайшей почтовой станции, давно известный князю, пригласил его крестить у себя сына; князь согласился и в назначенный день отправился к смотрителю. Крестить должны были в две пары, и скоро явился и другой кум, молодой помещик Бахметев, недавно приехавший из Петербурга, великий франт, разодетый щеголем, раздушенный и припомаженный. Смотритель отлучился из комнаты, и Бахметев, увидев пожилого человека в стареньком военном сюртучке, вероятно, принял его за какого-нибудь отставного унтера и приступил к разговору с ним: «Что, братец, служил в военной службе?» — «Служил». — «Долго служил?» — «Порядочно». — «Много воевал?» — «Воевал». — «Ну, что-ж, теперь здесь находишься на побывке или в отставке?» — «В отставке». — «Есть семья, жена, дети?» — «Я вдовец и семья у меня небольшая, всего две дочери». — «Ну, а в отставке с каким чином, фельдфебелем или вахмистром?» — «Генерал-майором». — «Что?!. Как?!.» — Князь повторил свой ответ. Бахметев сильно озадачился и сконфуженно спросил: «Позвольте узнать, с кем я имею честь говорить?» — «Я — князь Павел Васильевич Долгорукий». Бахметев окончательно растерялся, забормотал несвязные извинения и напустился на вошедшего смотрителя, как он смел не предупредить его, какой у него сидит гость. Князь должен был заступиться за смотрителя и едва мог успокоить молодого человека. Такие случаи бывали не раз и очень забавляли князя.