Lúc đầu chùa được xây dựng trên triền núi Nhỏ nhưng đến năm 1919 khu vực này bị thực dân Pháp chiếm dụng để xây biệt thự cho hoa tiêu Pháp. Ngay sau đó một ngôi chùa khác đã được xây dựng và tồn tại cho đến ngày hôm nay.

Trong chánh điện có thờ một tượng Phật cao 1,2m bằng đá thếp vàng được điêu khắc rất khéo léo tạo nên vẻ từ bi và sống động trên nét mặt của đức Phật.

Truyền thuyết kể lại rằng cách đây hơn một trăm năm có đoàn ghe chài từ miền Trung vào đánh cá ở bãi Trước. Trong khi đi kiếm củi ở núi Lớn tình cờ họ phát hiện hai pho tượng Phật bằng đá nằm vùi dưới đất trên sườn núi gần bãi Dâu. Họ cùng nhau đào lên rồi chờ đến hôm sau làm lễ xin đem về. Dân địa phương biết tin vội kéo đến xem và cho rằng đó là di tích lịch sử của địa phương nên cương quyết đòi giữ lại. Nhóm dân chài miền Trung năn nỉ mãi mới lấy được pho tượng nhỏ đem đi. Pho tượng lớn còn lại được dân chài rước về thờ, chính là pho tượng hiện nay ở chùa Linh Sơn Cổ Tự.