Ngôi miếu này rất linh thiêng đối với những người dân trên đảo và nó gắn liền với một câu chuyện bi thương của người phụ nữ tài sắc, giàu lòng yêu nước. Năm 1783, sau khi thua quân Tây Sơn, Nguyễn Ánh mang theo vợ, con và khoảng 100 gia đình thuộc hạ chạy ra đảo Côn Sơn.
Cùng với những người dân chài đang sinh sống ở Côn Sơn, Nguyễn Ánh đã lập nên 3 làng là: An Hải, An Hội và Cỏ Ống. Để đánh lại quân Tây Sơn, Nguyễn Ánh dự định gửi con cả là Hoàng tử Cảnh đi theo cố đạo Pháp (Bá Ða Lộc) sang Pháp cầu viện. Bà Phi Yến (Lê Thị Răm) là vợ thứ của Nguyễn Ánh đã can ngăn chồng, đừng làm việc "cõng rắn cắn gà nhà" để người đời chê trách.
Nguyễn Ánh không những không nghe lời khuyên của bà mà còn tức giận, nghi bà thông đồng với quân Tây Sơn, nên định giết bà. Nhờ quân thần can xin, Nguyễn Ánh đã tống giam bà vào một hang đá trên đảo Côn Lôn nhỏ. Khi quân Tây Sơn đánh ra đảo, Nguyễn Ánh bỏ chạy ra biển. Hoàng tử Cải (còn gọi là Hoàng tử Hội An), con bà Phi Yến lúc đó mới 4 tuổi đòi mẹ đi cùng.
Trong cơn tức giận Nguyễn Ánh đã ném con xuống biển. Xác Hoàng tử Cải đã trôi vào bãi biển Cỏ Ống. Dân làng đã chôn cất Hoàng tử. Bà Phi Yến, theo truyền thuyết được một con vượn và một con hổ cứu ra khỏi hang và về sống với dân làng Cỏ Ống để trông nom mộ Hoàng tử Cải. Một lần, sau khi bị một kẻ xấu xúc phạm bà đã tự tử để thủ tiết với chồng.
Nhân dân trên đảo vô cùng thương tiếc bà và đã lập nên ngôi miếu to, đẹp để thờ bà. Năm 1861, Pháp sau khi chiếm đảo đã quyết định di toàn bộ dân vào đất liền để xây nhà tù. Ngôi miếu bị đổ nát dần. Năm 1958, nhân dân trên đảo đã xây dựng lại ngôi miếu trên nền cũ.