Особняк построен в 1840 -х Годах в стиле позднего классицизма по проекту архитектора А. Низовцева. В конце1800-х Князь Борис Дмитриевич Голицын (внук княгини Натальи Петровны Голицыной, прототипа старой графини из “Пиковой дамы “) купила особняк у семьи Долгоруких. именно тогда под руководством архитектора Е. И. Ферри Де Пиньи был надстроен третий этаж особняка – мансарда. особняк на литейном несколько раз менял своих хозяев. Им владел министр иностранных дел К. В. Нессельроде, князь И. А. Шаховской, купец первой гильдии Иванов. Наследники купца проживали здесь в вплоть до советских преобразований. Интерьер особняка отличались изысканно и тонким вкусом. Роспись, лепка, дубовые потолки, узорчатые наборы паркеты, плафоны – вся эта уникальная внутренняя отделка сохранялась в особняке более 100 лет. В начале 20-го века здесь бывал едва ли не весь сановный Петербург. На официальных приемах статского советника Любимова присутствовал даже российский император Николай второй. В прекрасных интерьерах дворца у вались литературные вечера которые часто посещал знаменитые русские писатель Александр Иванович Куприн. к сожалению, почти все это было утрачено в процессе переделки особняка под коммунальной квартиры в советское время.