Lúc đầu chùa được xây trên một ngọn đồi cao, nhưng đến năm thứ 14 đời Tự Đức, tức năm Tân Dậu (1861), chiến tranh đã thiêu hủy toàn bộ ngôi chùa. Bảy năm sau chùa được Hòa thượng Chánh Đắc cho xây dựng lại dưới chân đồi, cách vị trí chùa cũ khoảng 100m về phía nam.

Chùa đã được tôn tạo và trùng tu nhiều lần nhưng vẫn giữ được kiến trúc cổ mang màu sắc dân tộc. Giảng đường và Đông lang được xây lại năm 1917, Tây lang được xây lại năm 1984. Ngôi chánh điện được xây dựng trong hai năm 1990 và 1991. Gần đây nhất, ngày 29/2/1992, di tích chùa Hội Khánh đã được tổ chức trùng tu.

Sau cổng tam quan cổ kính có chạm trổ rồng phượng là khuôn viên chùa yên tĩnh, với nhiều cây cao bóng cả, trong đó đặc biệt có bốn cây dầu cao chót vót, cành lá sum suê, được trồng lúc chùa mới bắt đầu xây dựng, nay tuổi cây đã trên một thế kỷ.

Trong chùa, toàn bộ diện tích chánh điện, giảng đường, Đông lang và Tây lang rộng đến 700m². Ở chánh điện, các pho tượng Phật Thích ca, Địa Tạng... đều được tạc bằng gỗ, sơn son thếp vàng. Ba tấm bao lam chạm khắc Tứ linh, Tứ quí, Cửu long và Thập bát La hán rất tinh vi, có giá trị nghệ thuật cao. Hai bên tường của chánh điện có bộ tượng Thập điện Minh Vương và bộ Thập bát La hán. Các tác phẩm chạm khắc gỗ này được tạc vào những năm cuối thế kỷ 19 đầu thế kỷ 20 do nhóm thợ điêu khắc nổi tiếng ở Thủ Dầu Một thực hiện.