Cổ Thạch là một vùng núi đá rộng lớn, bao gồm rất nhiều khối đá có hình thù kỳ thú nằm gác hoặc xếp chồng lên nhau, cũng có khi ăn sâu vào núi tạo ra những hang động kỳ bí. Năm 1835, thiền sư Bảo Tạng thuộc thiền phái Lâm Tế đời thứ 40 đã khai sơn một khu vực nhỏ nằm trong vùng núi đá Cổ Thạch để lập thảo amthờ Phật. Ban đầu, thảo am chỉ có vài hang động được bao quanh bởi phía đông nam là biển Đông, phần còn lại là những dải đá và rừng nguyên sinh nên còn được gọi là chùa Hang.Trải qua thời gian, chùa Hang đã được chỉnh trang,mở rộng thêm và đổi tên thành Cổ Thạch, tên chữ là "Cổ Thạch tự" (nghĩa là "chùa đá xưa").
Lối lên chùa Cổ Thạch dốc thoai thoải, quanh co theo triền đồi, được che phủ bởi những bóng cây xanh mát. Qua cổng Tam quan là con đường có 36 bậc thang được gắn kết với nhau bằng phiến thạch. Quần thể kiến trúc của chùa gồm nhiều am, điện, cốc liên hoàn, tọa lạc trên khu đồi đá tự nhiên rộng hơn 4ha. Chính điện chùa nằm trên một khu đất rộng bằng phẳng, tựa lưng vào các phiến đá lớn. Nhiều điện, am thờ của chùa được xây giữa những tảng đá to hoặc trong các hang đá tự nhiên. Mỗi hang thờ một vị Phật, Bồ tát hoặcmột nhà sư đã viên tịch như: Phật Chuẩn Đề,thiền sư Bảo Tạng (người khởi dựng chùa)...cùng nhiều tượng Phật có kích thước và niên đại khác nhau.Đặc biệt, vách đá quanh các am, điện được vẽ những bức tranh miêu tả cuộc đời Đức Phật và các chư vị Bồ tát.
Bên cạnh kiến trúc độc đáo, chùa Cổ Thạch còn lưu giữ nhiều di sản quý như: tư liệu văn hóa Hán - Nôm, liên, đối, hoành phi và những tài liệu có từ ngày tạo lập chùa; Đại Hồng chung, trống Sấm đều có niên đại từ nửa đầu thế kỷ 19.
Tại vùng núi Cổ Thạch có một đỉnh núi gọi là đỉnh Linh Thứu, dựa theo tên gọi một đỉnh núi thiêng trong điển tích Phật giáo.Từ đây có thể quan sát cảnh quan thiên nhiên ngoạn mục của vùng biển Cổ Thạch mênh mông xanh biếc với rất nhiều tảng đá xếp chồng lên nhau tạo thành nhiều hình thù đẹp mắt. Hướng về phía đông, du khách sẽ thấy thấp thoáng bãi đá Cà Dược (bãi đá 7 màu) với vô số những viên đá sỏi, đá cuội có kích thước khá đồng đều, màu sắc đa dạng (nâu, vàng, tím, xanh lam, trắng, đỏ...) lấp lánh trong ánh nắng. Phía tây nam của chùa có một eo biển khá rộng với bãi cát vàng óng ả, là nơi lý tưởng để tắm biển, nghỉ ngơi.
Chùa Cổ Thạch được công nhận là di tích thắng cảnh cấp quốc gia vào năm 1993.
Lam Phương