Chùa nằm trên núi, giữa một vùng toàn đá trắng nên còn được gọi là chùa Đá Trắng hay chùa Bạch Thạch. Chùa được xây dựng từ năm 1797 dưới triều vua Quang Toản (nhà Tây Sơn), do thiền sư Pháp Chuyên, đời thứ 36 phái Lâm Tế khai sơn. Trước đó, vào năm 1793, thiền sư đã dựng một thảo am tại đây để dịch kinh Hoa Nghiêm và bốn năm sau cho dựng chùa Từ Quang. Đến năm 1929, chùa bị hoả hoạn, các công tình kiến trúc bị thiêu rụi hoàn toàn. Sau đó, chùa được xây dựng lại theo nguyên mẫu chùa cũ và được trùng tu nhiều lần.

Nằm ở độ cao 100m so với mực nước biển, chùa có tổng diện tích khoảng 5.000m², lưng dựa vào dãy núi Xuân Đài, mặt hướng về phía nam, nhìn ra con sông Cái (sông Ngân Sơn) và sông Nhân Mỹ. Đứng ở sân chùa, có thể nhìn bao quát cả một vùng sông, núi xanh biếc tuyệt vời. Xung quanh chùa là vườn xoài đã đi vào thơ ca Phú Yên như một sản phẩm đặc trưng của vùng đất này: “Xoài Đá Trắng, sắn phường Lụa”. Hàng năm, đến vụ xoài, người dân thu hoạch, chuyển về kinh thành dâng Vua nên xoài Đá Trắng còn có tên là xoài Ngự, xoài Tiến cung.

Trên một khu đất rộng ở phía tây ngôi chùa có 8 ngôi tháp thờ các vị hòa thượng đã khai sáng và trụ trì chùa. Tại chùa còn có quả chuông Đại hồng nặng 330 cân, do hoà thượng Pháp Ngũ cho đúc ở Huế vào năm 1915. Đặc biệt, chùa đã từng là căn cứ của nhiều cuộc khởi nghĩa chống thực dân Pháp vào cuối thế kỷ 19, đầu thế kỷ 20.

Chùa Từ Quang đã được Bộ Văn hóa - Thông tin công nhận là Di tích lịch sử - văn hóa cấp quốc gia vào năm 1997.