Опала брата-фаворита вынудила Алексея Орлова в ноябре 1775 года подать прошение об отставке, и 2 декабря он был уволен с назначением ему государственной пенсии. Перебравшись в Москву, граф Орлов-Чесменский занялся своим имением. Главное внимание уделил принадлежавшему ему Хреновскому конезаводу, где вскоре были выведены новые породы лошадей — орловский рысак и русская верховая.
Имелись у графа и свои «культурные предпочтения». Во время военных походов в Турцию он увлекся цыганским пением и в 1774 году привез из Валахии в Москву первый цыганский ансамбль. С тех пор цыганское пение сделалось неотъемлемым атрибутом российской элиты. В имениях Орлова-Чесменского частенько устраивались народные гуляния и кулачные бои, до которых и сам граф в эпоху бурной молодости был большим охотником.
6 мая 1782 года граф торжественно отпраздновал свадьбу с Евдокией Николаевной Лопухиной. Увы, в 1786 году графиня Орлова-Чесменская умерла. Их дочь Анну граф воспитывал сам. Несколько лет граф Орлов-Чесменский провел за границами Отечества. Москву он вернулся после вступления на престол в 1801 году императора Александра I, поселившись в имении Нескучное вблизи Донского монастыря. Жил спокойно и счастливо, хотя политика не оставляла его и в старости. В первом десятилетии XIX века континентальную Европу сотрясали «большие батальоны» Наполеона Бонапарта. Все понимали, что столкновение между двумя сильнейшими империями неизбежно… Российское дворянство, по заведенному порядку, повсеместно создавало земское ополчение. В 1807 году неоднократно побеждавший неприятеля Орлов-Чесменский на свои средства создал в нескольких губерниях земское ополчение. 24 декабря (5 января) 1808 года он скончался в Москве.