Младший из Абрамовичей, Арсений, в родовом текстильном деле абсолютно никакого участия не принимал. Страстный охотник и собаковод, известный всей Москве кутила, Арсений только и делал, что прожигал жизнь и родительские капиталы. Когда сыну исполнилось 25 лет, Варвара Алексеевна подарила ему участок с небольшим особнячком, обычным для московской застройки. Арсений решил возвести на его месте что-нибудь необычное. На Всемирной выставке в Антверпене Арсений Морозов познакомился с архитектором В. Мазыриным, который проектировал русский павильон. Он и получил заказ на строительство особняка на Воздвиженке.
Вскоре архитектор и заказчик отправились в Европу — искать прообраз будущего дворца. Они нашли его в португальском городе Синтра. Это был замок Паласиу-ди-Пена, принадлежавший принцу Фердинанду. Сооружение пришлось по вкусу Арсению. Он заказал Мазырину особняк в том же стиле. Строительство, начатое в 1897 году, было закончено через три года. Уже во время возведения дворец Морозова стал предметом насмешек, сплетен и критических публикаций в газетах. В романе «Воскресение» Толстой выразил свое отношение к особняку и его хозяину через восприятие Нехлюдова, размышляющего о строительстве «глупого ненужного дворца какому-то глупому ненужному человеку». Еще резче высказалась, характеризуя затею сына, Варвара Алексеевна: «Раньше я одна знала, что ты дурак, теперь вся Москва знает».
Братья-коллекционеры упрекали Арсения в безвкусице, но он неизменно отвечал: «Мой дом будет вечно стоять, а с вашими картинами еще неизвестно что будет». Долго наслаждаться жизнью в «мавританском замке» Арсению не пришлось. В Твери, на пьяной пирушке, он заключил глупое пари, что сможет выдержать любую боль и, недолго думая, прострелил себе ногу. Пари он выиграл, но рану должным образом не обработали, и через три дня Арсений умер от заражения крови. После его смерти разразился новый скандал: гуляка и любитель женщин оставил особняк не жене с детьми, а своей любовнице. Даже старания лучших московских юристов не увенчались успехом: оспорить это завещание родственники не смогли. Арсений оказался прав в одном: построенный им дворец и по сей день считается одним из главных украшений Москвы. В настоящее время в нем разместился Дом приемов Правительства Российской Федерации.