3 июня 1832 г. в селе Ивановское Льговского уезда Курской губернии Владимир Петрович венчался с княжной Ольгой Ивановной Барятинской (16.04.1814-9.09.1876), в этом браке родилось восемь детей. По примеру британцев в 1863 г. граф разделил свои земли на три наследственных майората: Отрадинский (для сына Владимира), Усольский (для сына Анатолия) и Воронежский (для сына Сергея). Но двое из его сыновей не оставили наследников. Граф Сергей Владимирович Орлов-Давыдов (26.06.1849-22.04.1905), известный меценат, был женат бездетным браком на Елизавете Васильевне Арсеньевой (15.09.1855-1.04.1919), с 1883 г. признанной душевнобольной.
Граф Владимир Владимирович Орлов-Давыдов (13.11.1837-7.04.1870) служил на Кавказе, занимал пост симбирского губернатора, умер холостым от последствий тяжелого ранения. Его брат-близнец, граф Анатолий Владимирович Орлов-Давыдов (13.11.1837-19.12.1905), генерал-лейтенант, кавалер 10 российских и 16 иностранных орденов, свободно владел шестью языками. Во всех имениях графа построены были церкви и в большинстве – школы и больницы. В начале русско-японской войны он пожертвовал на нужды Красного Креста один миллион рублей. В честь жены, графини Марии Егоровны Толстой (1.09.1842–1895) он назвал построенный им в 1874 г. в Эстонии замок Орловых-Давыдовых Мариенбергом. В этом замке снимались серии отечественного сериала о приключениях Шерлока Холмса – «Собака Баскервиллей». А фамильные орлы до сих пор украшают въезд в замковые ворота. После смерти графа Анатолия трое его сыновей унаследовали по майорату.
Граф Владимир Анатольевич Орлов-Давыдов (28.08/9.09.1865-9.05.1936) образование получил в московском Императорском Лицее в память Цесаревича Николая, в который поступил 18 октября 1882 г. и выбыл из VII класса в 1884/85 учебном году. Наследник и последний владелец Отрадинского майората.
Болезненный невротик, он никогда не служил и редко покидал Отраду. После 1917 г. ему удалось уехать из охваченной революцией страны. Умер граф во французском Клермоне и был похоронен на кладбище Сент-Женевьев-де-Буа.
Граф Александр Анатольевич Орлов-Давыдов (28.04/8.05.18 69–19.01.1935) – наследник и владелец Усольинского майората. В 1898 г. титулярный советник. В 1911–1917 гг. – коллежский советник в должности церемониймейстера. В парижской эмиграции граф работал водителем такси – пригодился опыт автолюбителя, приобретенный на родине. Последние годы жизни он провел в Русском доме в Сент-Женевьев-де-Буа. Похоронен на местном кладбище. Жена его, Мария Михайловна Зографо (1874-29.08.1933) в 1922 г. открыла в Париже русский Дом мод. Скончалась в Женеве.
В этом браке были две дочери: рано умершая Ольга и Мария (18/30.09.1897-23.03.1922), которая вышла замуж за своего троюродного брата – дипломата, светлейшего князя Петра Александровича Ливена, подарила ему детей Александра и Екатерину и умерла от родов.
Граф Алексей Анатольевич Орлов-Давыдов (13/25.12.1871–1947) окончил историко-филологический факультет Петербургского университета, унаследовал Воронежский майорат – имения в Воронежской, Тамбовской и Орловской губерниях, его состояние оценивалось в 20 миллионов рублей. Накануне революции граф исполнял должность церемониймейстера Высочайшего двора в чине коллежского советника, был причислен к Государственной Канцелярии, избирался Жиздринским уездным предводителем дворянства и депутатом IV Государственной Думы от Калужской губернии.
В 1906 г. он стал великим магистром ведущей в России петербургской масонской ложи «Полярная Звезда», что определило попытку его воздействия на государственную политику в дни Февральской революции. В роковой для России день, 2 марта 1917 г., вспоминает В.Д. Набоков, в Думе «откуда-то появился Керенский, – сопровождаемый графом Алексеем Орловым-Давыдовым (героем процесса с Пуаре), – взвинченный, взволнованный, истеричный. При мне он едва не падал в обморок, причем Орлов-Давыдов не то давал ему что-то нюхать, не то поил чем-то, не помню». О «высоком градусе» масонства графа упоминает и писатель Роман Гуль, встречавшийся с ним в Париже в 1930-х годах.
Первым браком граф Алексей Анатольевич венчался 17/30 апреля 1900 г. в русской часовне Лондона на Welbeck-Street с баронессой Феклой Георгиевной (иначе – Агафоклеей Егоровной) Стааль фон Грейффенклау (10.10.1872-26.03.1954). При венчании, отмечает «Таймс», на невесте загорелась фата.
В некотором смысле зловещая примета сбылась. Первая дочь графа София (9.02.1902-20.02.1907) умерла в детстве. И хотя у супругов появилось еще двое детей – Ольга и Сергей, в 1913 г. Алексей Анатольевич развелся с женой, чтобы вступить в брак с актрисой и поэтессой Марией Яковлевной Пуаре (4.01.1863-13.10.1933), сочинительницей романсов, из которых два («Я ехала домой» и «Лебединая песня») до сих пор пользуются заслуженной популярностью. Пятидесятилетняя Мария прежде была любовницей двоюродного брата графа – известного общественного деятеля князя Павла Долгорукова, от которого имела дочь.