La maison est étroitement attachée aux cinq générations de la famille Pham. Son propriétaire, Pham Thi Tê, 96 ans, a confié qu'en 1890, dès la naissance de la rue Hang Bac (rue des Orfèvres), sa famille a quitté son village natal de Châu Khê, province de Hai Duong (Nord), afin de venir s'installer à Hanoi pour exercer le métier traditionnel de sa famille, la joaillerie. 

En 1920, sa famille a acheté un terrain de plus de 500 m² ayant pignon sur deux rues de Hang Bac et Dinh Liêt pour construire une maison-jardin de deux étages comportant 16 pièces. 

La maison est empreinte de la culture vietnamienne avec des figures de tête du dragon sur ses pignons, des balcons ornés des motifs décoratifs, et des plantes d'ornement, des montagnes artificielles, des petits bassins à poissons sur la terrasse, tout en présentant également des éléments architecturaux français, notamment pour ses escaliers en bois et ses grandes salles à plusieurs fenêtres. 

La maison possède un jardin de 180 m² avec plusieurs plantes d'ornement, notamment un rang d'aréquiers de plusieurs dizaines de mètres de haut qui ont été plantés dès sa construction. 

D'une grande valeur, cette maison-jardin est présentée par les experts japonais dans le livre "Hanoi et ses 36 quartiers" (The 36 Guild street area Hanoi's Ancient Quarter). 

Selon Pham Tuân Long, chef adjoint du Comité de gestion d'anciennes rues de Hanoi, la maison-jardin est l'une des trois architectures fondamentales des anciennes rues de Hanoi. 

Auparavant, la capitale disposait de deux autres maisons-jardins au 41 rue Hang Dao (rue de la Soie) et au 103 rue Hang Bac, mais elles ont disparu durant les années 60 du dernier siècle, seule celle du 115 rue Hang Bac ayant survécu jusqu'à nos jours. 

En juin dernier, le Comité populaire de Hanoi a approuvé le projet de conservation et de réhabilitation de cette maison.