Изначально участок, на котором расположена усадьба, шёл от Мойки до современной Гороховой улицы, на нём был в XVIII веке построено деревянное усадебное здание. В 1755—1756 годах на его месте отстроили двухэтажный каменный дом, в центре которого расположен аттиковый этаж и открытая терраса на чугунных колоннах ионического ордера, отлитых на заводах владельца усадьбы. С террасы в сад ведут криволинейные барочные лестницы. Садовый фасад также украшен литыми из чугуна скульптурными деталями. Садовый фасад сохранил оформление в стиле развитого русского барокко, остальные в начале XIX века были оформлены в стиле классицизма. На первом этаже сохранились своды середины XVIII века, внутренняя лестница в центральной части с опирающимися на своды площадками относится к концу XVIII века, а на некоторых перекрытиях второго этажа сохранилась роспись начала XIX века[1]. Архитекторами дома были, вероятно, С. И. Чевакинский или А. Ф. Кокоринов (зять Г. А. Демидова). С 1830 года в доме был расположен Английский клуб («Английское собрание»), упомянутое в «Пиковой даме» А. С. Пушкина[2][3].
Со стороны Мойки парадный двор ограничивали два симметричных двухэтажных служебных корпуса, с противоположной стороны дома находился регулярный (яблоневый[4]) сад (Объект культурного наследия народов РФ федерального значения. Рег. № 781520381170046 (ЕГРОКН). Объект № 7810025004 (БД Викигида)). По улице со стороны сада было построено два жилых здания, которые в 1770-е годы были объединены в одно (Казанская улица, 29/5). Двухэтажные флигеля со стороны набережной в XIX веке были перестроены в пятиэтажные доходные дома, которые заслонили собой основной корпус[1]. Также в начале века на месте сада построили деревянные оранжереи, а в начале 1820-х годов — два каменных здания, одно из них, северное, было одноэтажным, но вскоре надстроено ещё на этаж. На лицевом фасаде северного корпуса были пилястры и прочая лепнина. В 1834—1835 годы оба здания объединили третьим и четвёртым (аттиковым) этажами по проекту Л. И. Шауфельберга, при этом украшения с северного корпуса сбили. На южном украшения, среди которых выделяются маски замковых камней и рельефный пояс с грифонами над вторым этажом, остались; этот дом был продан другому владельцу и известен как дом Шмидта[5]. На территории усадьбы были и другие хозяйственные постройки, в частности, первый в России кегельбан (Объект культурного наследия народов РФ федерального значения. Рег. № 781510381170036 (ЕГРОКН). Объект № 7810025003 (БД Викигида))[4].
В одном из домов усадьбы, на месте которого сейчас стоит дом 64 по Мойке, в 1862 году открылось Музыкальное училище, которое работало в этом здании около десяти лет[6].
Они прошли ряд великолепных комнат, наполненных учтивыми официантами. Несколько генералов и тайных советников играли в вист; молодые люди сидели, развалясь на штофных диванах, ели мороженое и курили трубки. В гостиной за длинным столом, около которого теснилось человек двадцать игроков «Пиковая дама»
Канн П. Я. Прогулки по Петербургу (Вдоль Фонтанки, Вдоль Мойки, Вдоль Садовой). — СПб.: Палитра, 1994. — 412 с. — ISBN 5-289-01813-1.
Петров А. Н., Борисова Е. А., Науменко А. П., Повелихина А. В. Памятники архитектуры Ленинграда (рус.). — Изд. 4-е, исправл. и доп.. — Ленинград: Стройиздат. Ленинградское отделение, 1976. — 576 с.