Tại đỉnh núi Sam vào khoảng năm 1896, Chánh tham biện Pháp đã cho xây dựng một ngôi biệt thự kiên cố làm nơi nghỉ mát, vui chơi. Tầng trên cùng là ngôi tháp cao hình trôn ốc để hóng gió. Trong thời kỳ chiến tranh, giặc đã sử dụng ngôi biệt thự này làm căn cứ pháo binh nên từ đó nó được gọi là Pháo Đài. Năm 1969, anh hùng Hoàng Đạo Cật đánh sập Pháo Đài nên ngày nay nó đã bị hư hỏng nhiều

Muốn lên Pháo Đài có hai con đường chính. Đường ở sau lăng Thoại Ngọc Hầu gần hơn, nhưng dốc đứng phải đi theo gộp đá hoặc nấc thang nên chỉ dành cho người đi bộ. Dọc hai bên đường có rất nhiều chùa chiền, am cốc… Vào mùa hè, hàng phượng bên đường trổ bông đỏ rực, thắp theo dòng người lên núi một màu hoa lửa thật đẹp. Gần tới Pháo Đài là ngôi chùa cổ Giác Hương có hậu cảnh rộng, là điểm nghỉ ngơi, ngắm cảnh thú vị.

Ngã thứ hai từ Châu Đốc đến ngã ba Đầu Bờ rồi rẽ trái dọc theo đường vòng chân núi, qua khu trường học và nghĩa trang là đường lên núi với hai trụ cổng có lối kiến trúc cổ. Đây là con đường trải nhựa dài hơn 2km, gọi là đường Tháp, dành cho các loại xe ôtô và xe máy. Dọc theo con đường này có nhiều điểm du lịch nổi tiếng như: vườn Tao Ngộ, nhà bác sĩ Nu, bệ đá nơi phát hiện tượng Bà Chúa Xứ...