Дочь графа Владимира Орлова, Наталья (1782-1819), в 1803 году вышла замуж за Петра Давыдова (1777-1842). У них родились сын Владимир и три дочери. Владимир Петрович Давыдов детство провел в Италии, потом учился в Эдинбургском университете, получив степень доктора права. В Шотландии Владимир Петрович Давыдов свел довольно близкое знакомство с Вальтером Скоттом, которому сделал в 1827 году первый перевод на английский язык древнерусского литературного памятника «Слово о полку Игореве». Когда замечательный писатель скончался, Давыдов не только выделил средства на поддержание его семьи, но и организовал выпуск собрания сочинений Вальтера Скотта.
Пожив некоторое время в Лондоне, Владимир Давыдов слушал лекции в Париже и в университетах Германии. Встретившись в Риме с живописцем Карлом Брюлловым, академиком-архитектором Николаем Ефимовым и археологом Крамером, он организовал на свои средства совместное путешествие на Восток, отчет о котором под названием «Путевые записки, веденные во время пребывания на Ионических островах, в Греции, Малой Азии и Турции в 1835 г.» издал в 1839— 1840 годах. Признанием за труд стало присуждение автору в 1840 году почетной ученой степени Эдинбургского университета. Возвратившись в Россию, В. П. Давыдов поступил на службу в Министерство внутренних дел.
На смертном одре Екатерина Владимировна Новосильцева -последняя в роду Орловых — завещала ему имущество рода, а 26 марта 1856 года император Александр II позволил Владимиру Петровичу принять титул и имя деда по матери. Так появился род графов Орловых-Давыдовых. Граф Орлов-Давыдов был известен крупными пожертвованиями различным библиотекам и музеям. Им написано множество статей, а также капитальный труд «Биографический очерк графа Владимира Григорьевича Орлова» (СПб., 1878). По совокупности работ 1 декабря 1878 года В. П. Орлова-Давыдова избрали почетным членом Академии наук.