Đảo Ngọc Sơn xưa được gọi là Tượng Nhĩ (tai voi). Vua Lý Thái Tổ dời đô ra Thăng Long đặt tên đảo là Ngọc Tượng và đến đời Trần thì đảo được đổi tên là Ngọc Sơn. Tại đây đã có một ngôi đền được dựng lên để thờ những người anh hùng liệt sĩ đã hy sinh trong kháng chiến chống quân Nguyên Mông. Về sau lâu ngày ngôi đền bị sụp đổ. Đến thời Vĩnh Hựu nhà Lê (1735 - 1739), chúa Trịnh Giang đã dựng cung Thuỵ Khánh và đắp hai quả núi đất ở trên bờ phía đông đối diện với Ngọc Sơn gọi là núi Đào Tai và Ngọc Bội. Cuối đời Lê, cung Thuỵ Khánh bị Lê Chiêu Thống phá huỷ. Một nhà từ thiện tên là Tín Trai đã lập ra một ngôi chùa gọi là chùa Ngọc Sơn trên nền cung Thuỵ Khánh cũ. Năm Thiệu Trị thứ ba (1843), một hội từ thiện đã bỏ gác chuông, xây lại các gian điện chính, các dãy phòng hai bên, đưa tượng Văn Xương đế quân vào thờ và đổi tên là đền Ngọc Sơn (Văn Xương là nhân vật đời Kiến Vũ, năm 25 - 55 sau công nguyên bên Trung Quốc, sau khi chết được phong là thần chủ về văn chương khoa cử).
Theo sách "Hà Thành linh tích cổ lục" thì ngay từ đời Lê, trên đảo Ngọc Sơn đã có đền thờ Quan Công, người nổi tiếng trung nghĩa đời Tam Quốc (Trung Quốc). Khi vua Lê và chúa Trịnh dùng hồ là nơi duyệt thuỷ quân thì đền được coi như một võ miếu. Dân Hà thành đã đem tượng Đức thánh Trần thờ phối hưởng bên cạnh Quan Công. Nhưng "Khâm định Việt sử thông giám cương mục" lại cho đó là tượng Lê Lai, công thần khai quốc đời Lê đã xả thân cứu chúa.
Năm Tự Đức thứ mười tám (1865), nhà nho Nguyễn Văn Siêu đứng ra tu sửa lại đền. Đền mới sửa được đắp thêm đất và xây kè đá xung quanh, xây đình Trấn Ba, bắc một cây cầu từ bờ đông đi vào gọi là cầu Thê Húc. Trên núi Ngọc Bội cũ, ông cho xây một tháp đá, đỉnh tháp hình ngọn bút lông, thân tháp có khắc ba chữ "Tả Thanh Thiên" (viết lên trời xanh), ngày nay thường gọi đó là tháp Bút. Tiếp đến là một cửa cuốn gọi là đài Nghiên, trên có đặt một cái nghiên mực bằng đá hình nửa quả đào bổ đôi theo chiều dọc, có hình ba con ếch đội. Trên nghiên có khắc một bài minh nói về công dụng của cái nghiên mực xét về phương diện triết học. Người đời sau ca ngợi là: Nhất đài Phương Đình bút. Từ cổng ngoài đi vào có hai bức tường hai bên, một bên là bảng rồng, một bên là bảng hổ, tượng trưng cho hai bảng cao quý nêu tên những người thi đỗ, khiến cho các sĩ tử đi qua càng gắng công học hành.
Tên cầu Thê Húc nghĩa là giữ lại ánh sáng đẹp của mặt trời. Cầu Thê Húc dẫn đến cổng đền Ngọc Sơn. Đền chính gồm hai ngôi đền nối liền nhau, ngôi đền thứ nhất về phía bắc thờ Trần Hưng Đạo và Văn Xương. Tượng Văn Xương đứng, tay cầm bút được đặt ở hậu cung trên bệ đá cao khoảng 1m, hai bên có hai cầu thang bằng đá. Phía nam có đình Trấn Ba (đình chắn song - ngụ ý là cột trụ đứng vững giữa làn sóng không lành mạnh trong nền văn hoá đương thời). Đình hình vuông có tám mái, mái hai tầng có 8 cột chống đỡ, bốn cột ngoài bằng đá, bốn cột trong bằng gỗ. Các nhân vật được thờ trong đền ngoài Văn Xương Đế Quân, Lã Động Tân, Quan Vân Trường, Trần Hưng Đạo, còn thờ cả phật A Di Đà. Điều này thể hiện quan niệm Tam giáo đồng nguyên của người Việt.
Sự kết hợp giữa đền Ngọc Sơn và hồ Hoàn Kiếm đã tạo thành một tổng thể kiến trúc Thiên - Nhân hợp nhất, tạo vẻ đẹp cổ kính, hài hoà, đăng đối cho đền và hồ, gợi nên những cảm giác chan hoà giữa con người và thiên nhiên. Đền và hồ đã trở thành những chứng tích gợi lại những kỷ niệm xưa về lịch sử dân tộc, thức tỉnh niềm tự hào, yêu nước chính đáng cũng như tâm linh, ý thức mỗi người Việt Nam trước sự trường tồn của dân tộc.