Il a été construit sur l’ancien village de Thu Lê en 1065, sous le règne du roi Ly Thanh Tông. Le temple est dédié au prince Linh Lang, fils du roi Ly Thanh Tông, qui était le génie gardien de l'ouest de la citadelle Thang Long.

Selon la légende, lorsque la femme du roi Ly Thanh Tông prit un bain dans le lac Dâm Dàm (aujourd'hui Lac de l'ouest), un dragon apparut et cracha de l'eau parfumée sur son corps. Plus tard, elle fut enceinte et donna naissance à un fils, Linh Lang (petit dragon), dont le corps était recouvert d'écailles et de taches qui brillaient comme des perles.

Lorsque les troupes du général Triêu Tiêt, de la dynastie des Song, envahirent le pays et atteignèrent la rivière Nguyêt Duc, Linh Lang demanda au Roi des troupes et des éléphants pour combattre les envahisseurs. Le Roi accepta et lui donna deux éléphants et une armée. Après la bataille victorieuse, Linh Lang tomba malade. Quand le Roi lui rendit visite, Linh Lang lui dit qu'il avait été envoyé du ciel pour aider le Roi à chasser les envahisseurs et, maintenant, il devait retourner chez lui. Il s’est ensuite transformé en un dragon qui s’avança en rampant dans le lac Dâm Dàm. Quelques jours de pluie se succédèrent et la pluie s'arrêta quand de nombreux drapeaux rouges apparurent dans le ciel et finirent par orner la citadelle... Le Roi lui attribua le titre d’Altesse Royale Linh Lang et construisit le temple en son honneur. En face du temple tronent deux éléphants à genoux, d'où le nom de Voi Phuc donné par les habitants locaux. Chaque année, une fête du temple est organisée du 9^e à 11^e jour du 2^e mois lunaire pour commémorer les mérites de Ling Lang.

Malgré les vicissitudes de l’histoire et les restaurations successives, le Temple Voi Phuc a conservé son ancienne et belle architecture. Il est devenu un des hauts lieux touristiques de la capitale.