Đền được xây dựng vào thế kỷ thứ 9, thờ thần Long Đỗ (Rốn Rồng) - vị thần bảo hộ kinh thành Thăng Long.
Năm 1010, vua Lý Thái Tổ cho dời đô, từ Hoa Lư (Ninh Bình) về Thăng Long và muốn mở rộng thành. Vua đã cho đắp thành nhưng hễ đắp lên lại bị sụp đổ. Vua cho người đi hỏi dân chúng mới biết ở đất này có hiển linh từ trước, vua bèn sai biện lễ cầu đảo. Đêm ấy vua nằm mộng gặp thần tới chúc mừng và dặn nhà vua rằng cứ theo dấu vó ngựa mà đắp, tất sẽ thành công, ngay lúc đó, vua nhìn thấy một con ngựa trắng phi thẳng vào đền rồi biến mất. Hôm sau, nhà vua thấy có dấu chân ngựa in trên mặt đất thành đường vòng tròn, bèn sai người cứ theo đó mà xây thành, đắp lũy, thành sau khi được xây xong rất chắc chắn, vững chãi. Để tưởng nhớ công ơn của thần, nhà vua cho tạc một con ngựa trắng để thờ và ban sắc phong cho thần là “Thăng Long Thành hoàng Đại vương”. Từ đấy ngựa trắng là một biểu tượng thiêng liêng và đền Bạch Mã (đền ngựa trắng) có tên từ đó.
Văn bia hiện còn ở đền cho biết, đền Bạch Mã được tu bổ lớn vào đời Lê Chính Hòa (1680 - 1705). Năm Minh Mệnh nguyên niên triều Nguyễn (1820) cũng được tu bổ; năm Minh Mệnh thứ 20 (1839), sửa lại đền, dựng riêng văn chỉ ở bên trái, xây thêm phương đình ở phía trước đền để làm nơi cúng lễ trong các ngày tuần tiết. Trong dịp kỷ niệm 990 năm Thăng Long - Hà Nội, di tích được tu bổ trên cơ sở giữ nguyên kiến trúc cũ.
Đền Bạch Mã là một công trình kiến trúc đẹp, điển hình như: tam quan, phương đình, đại bái, thiêu hương, cung cấm...
Tam quan có mặt bằng hình chữ nhật, gồm năm gian nhà gỗ với hệ thống cột gỗ lim lớn và bốn bộ vì đỡ mái kiến trúc theo kiểu “chồng rường giá chiêng hạ bảy”, một số thanh rường chạm hoa văn hình học, gian giữa mở lối vào đền bằng cánh cửa gỗ lớn. Đặc biệt, giữa xà hạ và xà trung của mỗi vì có hai tượng nghê lớn bằng gỗ hướng mặt vào lòng nhà. Ngay sát phía sau là kiến trúc phương đình với hệ thống “củng ba phương”, vừa có tác dụng chịu lực - đỡ góc mái, vừa có tác dụng dùng để trang trí và là nơi treo đèn lồng trong các dịp lễ hội. Bộ mái ở đây làm hai tầng, mỗi tầng bốn mái có các góc đao cong.
Ở đền Bạch Mã, kiến trúc lớn nhất là nhà đại bái. Nhà đại bái được chia thành năm gian với nền nhà được lát bằng đá xanh hình chữ nhật. Bộ khung đỡ mái nhà được làm bằng gỗ với hệ thống cột gỗ có kích thước khá lớn và chúng được kê lên chân các tảng đá hình tròn. Sáu bộ vì được kiến trúc theo hai kiểu: hai vì hồi kiến trúc theo kiểu “kẻ chuyền” còn bốn vì giữa kiến trúc theo kiểu “thượng chồng rường giá chiêng hạ bảy”. Nghệ thuật trang trí trên kiến trúc của toà nhà này được thể hiện chủ yếu trên hai bộ vì gian giữa dẫn vào chính điện, chạm các hình tứ linh trên nền hoa văn xoắn, hình đầu rồng trên các đầu dư.
Thiêu hương và cung cấm có hình dạng bên ngoài gần giống nhau. Phần mái làm thành hai tầng, tầng trên hai mái, tầng dưới bốn mái có các góc đao cong. Bộ khung nhà cũng được dựng bởi hệ thống các cột gỗ lớn, các bộ vì đỡ mái được kiến trúc theo kiểu “giá chiêng chồng rường” và các xà thượng, hạ chạy ngang dọc khắp năm gian nhà.
Các mục hạng này được bố trí theo chiều dọc. Đặc biệt, phương đình và đại bái được nối với nhau bởi một vòm vỏ cua (mái vòm hình mai cua) hình bán nguyệt có trang trí hoa lá, nối đại bái với thiêu hương cũng là một vòm vỏ cua. Vỏ cua tạo không gian thoáng đãng và rộng rãi thêm cho kiến trúc, nhờ đó mà phương đình, đại bái, thiêu hương và cung cấm trở thành một kiến trúc khép kín, đồng thời điều này khiến cho ngôi đền Bạch Mã trở thành một trong những công trình kiến trúc về tín ngưỡng hiếm có ở vùng đồng bằng Bắc Bộ.
Tại đền Bạch Mã, hiện còn lưu giữ nhiều di vật cổ có giá trị như: bia đá, sắc phong, kiệu thờ, hạc thờ, đôi phỗng...
Là một trong “Thăng Long Tứ Trấn” (đền Bạch Mã (trấn Đông), đền Voi Phục (trấn Tây, nằm trong khuôn viên Công viên Thủ Lệ ngày nay), đền Kim Liên (trấn Nam, thuộc phường Phương Liên, quận Đống Đa ngày nay), đền Trấn Võ - đền Quán Thánh (trấn Bắc, nằm cuối đường Thanh Niên ngày nay)), lại có vị trí đặc biệt thuận lợi cho loại hình du lịch văn hóa, đền Bạch Mã không chỉ có ý nghĩa tinh thần đối với người dân Hà Nội, du khách thập phương mà còn là nơi cung cấp nguồn tư liệu quý để nghiên cứu, tìm hiểu về chặng đường ngàn năm lịch sử của mảnh đất Thăng Long - Hà Nội.
Hàng năm, để tưởng nhớ thần Long Đỗ, cứ đến ngày 12 và 13/2 âm lịch, UBND quận Hoàn Kiếm tổ chức lễ hội đền Bạch Mã với những nghi thức tế lễ cùng một số hoạt động văn hóa khác như: hát ca trù, hát chèo, ngâm thơ, múa kiếm, múa đao… Đặc biệt, năm 2009, lễ hội được tổ chức theo đề án "Nghiên cứu tổ chức lễ hội truyền thống trong khu phố cổ và khu vực hồ Hoàn Kiếm" - một trong những công trình kỷ niệm 1.000 năm Thăng Long - Hà Nội của nhân dân quận Hoàn Kiếm.
Năm 1986, đền Bạch Mã đã được Bộ Văn hóa Thông tin (Bộ Văn hóa, Thể thao và Du lịch) công nhận là di tích lịch sử cấp quốc gia.