Núi Đá Dựng mang nhiều tên gọi khác nhau, xưa kia gọi nơi đây là Điểu Đình – là sân chim cho các loại cò vạc hội tụ, thêm một tên gọi mỹ miều hơn trong Hà Tiên thập cảnh là “Châu nham lạc lộ” (Cò về núi ngọc).
Gia định thành thông chí của Trịnh Hoài Đức trong mục Sơn xuyên chí gọi nơi này là núi Bạch Tháp.
Thiên nhiên khéo sắp đặt khi 14 thạch động ở núi Đá Dựng nằm rải rác đều đặn đủ giáp hẳn một vòng ôm quanh núi. Từ chân núi, ngược dốc lên thoai thoải, len lỏi qua những rặng cây thưa là du khách đến hang đầu tiên có tên gọi hang Mẹ Sanh, một thế giới hang động kỳ lạ bắt đầu mở ra. Những phiến đá đủ hình thù kỳ dị, lồi lõm, méo mó qua bàn tay của tạo hoá kết hợp cùng ánh sáng khi tỏ khi mờ hắt vào từ các lỗ hổng trổ thẳng từ đỉnh núi tạo thành các giếng trời thiên nhiên độc đáo ấn tượng, có dây leo bao phủ, có nước chảy long tong càng tạo cho cảnh đẹp của mỗi hang động thêm vẻ thần bí.
Lần bước vào từng thạch động, mỗi hang động lại mang lại một cảm xúc và ấn tượng khác nhau. Bốn bề im lặng như tờ, không khí lạnh ẩm đầy hơi nước, tai lắng nghe được cả tiếng nước ngầm chảy tí tách từ các khối thạch nhũ trên nóc hang nhỏ xuống, thêm vào đó là ánh sáng lờ mờ phát ra từ hai giếng trời nằm ngay trên miệng hang, càng tạo cho hang Bồng Lai thêm vẻ lung linh, huyền ảo. Ngoài vẻ đẹp vốn có của từng hang động, từng khối thạch nhũ, câu chuyện tâm linh cũng được gắn với mỗi lần nhập động. Ở hang Khổ Qua – hình dáng thạch nhũ trong hang sần sùi như trái khổ qua, người ta quan niệm tham quan hang này là để tận hưởng vẻ đẹp tự nhiên của lớp khổ qua thạch nhũ, mọi nỗi ưu phiền thống khổ trong người sẽ mau qua, nhiều người còn truyền nhau, nếu ghé qua hang Khổ Qua thì ắt sẽ mau qua sự khổ ải.
Vòng vèo lên xuống đủ 14 động, thoả thuê chiêm ngưỡng và thoả chí tưởng tượng với những khối thạch nhũ đủ hình thù kỳ dị do mẹ thiên nhiên tạo nên, gối đã mỏi, chân đã chồn, bao “nhiên liệu” tiêu hao trong suốt cả chặng đường lê la khám phá thạch động lại hồi trở lại khi xuống đến chân núi, ghé hàng nước gọi ly thốt nốt đánh đá đường – một đặc sản không thể bỏ qua của vùng danh thắng. Ngồi nhìn ra đồng trống ngập nước phía xa xa là nước bạn Campuchia, gió lồng lộng thổi, nhấp từng ngụm nước thốt nốt ngọt dịu, mát lạnh, bao cảm giác mỏi mệt gần như tan biến hết.