Chùa được xây dựng từ lâu đời và đã được trùng tu nhiều lần vào các thế kỷ 16, 17, 18. Năm 1554, chùa được xây lại trên nền cũ. Năm 1632, chùa xây dựng thượng điện 3 gian và hậu cung cùng hành lang 20 gian. Năm 1660, Tây Đô Vương Trịnh Tạc cho xây lại chùa mới. Đến năm 1794 dưới thời nhà Tây Sơn, chùa lại được đại tu hoàn toàn với tên mới là "Tây Phương Cổ Tự" và hình dáng kiến trúc còn để lại như ngày nay. Chùa Tây Phương còn có tên gốc là Sùng Phức Tự và Hoàng Sơn Thiếu lâm tự. 

Chùa được đặt trên đỉnh núi cao hơn 100 mét. Để lên đến cổng chùa, du khách phải vượt qua 239 bậc lát đá ong. Dựa vào thế núi từ thấp lên cao, kiến trúc chùa Tây Phương được xây dựng theo kiểu chữ Tam, gồm ba ngôi chùa song song với nhau dọc theo sườn núi, mỗi chùa cách nhau 1,6m: chùa Hạ, chùa Trung và chùa Thượng. Mặc dù mỗi ngôi chùa mang một kiến trúc riêng biệt nhưng lại nằm trong một chỉnh thể hài hòa, thống nhất giữa không gian núi rừng trầm tịch và thoáng đãng. 

Mỗi tòa nhà có hai tầng mái kiểu chồng diêm: mái trên có múi in nổi hình lá đề, lớp dưới là ngói lót hình vuông sơn ngũ sắc như màu áo cà sa xếp trên những hàng rui gỗ làm thành ô vuông vắn đều đặn. Mái chùa có những góc đao cong vút được kết hợp bởi hai loại vật liệu chính là gỗ và đất nung, với những đường nét nổi lên hình hoa, lá, rồng phượng rất sống động, vươn cao tới 2,2m. Xung quanh diềm mái của ba toà nhà đều được chạm trổ tinh tế theo hình lá triện cuốn rất công phu. Tường chùa xây toàn bằng gạch Bát Tràng, các cột gỗ đều kê trên đá tảng xanh, khắc hình cánh sen.

Không chỉ nổi bật với kiến trúc độc đáo, chùa Tây Phương còn là nơi tập trung những tác phẩm đặc sắc của nghệ thuật điêu khắc tôn giáo bao gồm chạm trổ, phù điêu và tạc tượng. Hầu hết các đầu bẩy, các bức cổn, xà nách, ván long... làm bằng gỗ trong chùa đều được bàn tay của các nghệ nhân chạm trổ những hình ảnh quen thuộc của dân tộc Việt Nam như: hình lá dâu, lá đề, hoa sen, hoa cúc, rồng, phượng, hổ phù... Tác giả của những tác phẩm điêu khắc tinh xảo này chính là các nghệ nhân làng mộc trong vùng Tổng Nủa, làng truyền thống Chàng Sơn – làng mộc nổi tiếng nhất xứ Đoài thời bấy giờ.

Điểm nổi bật nhất ở chùa Tây Phương là các bộ tượng. Trong chùa có hơn 70 pho tượng cùng với các bức phù điêu, chủ yếu được tạc bằng gỗ mít sơn son thếp vàng, như các bộ tượng Tam Thế Phật, bộ tượng Di Đà Tam Tôn, tượng Tuyết Sơn, tượng Bồ tát Di Lặc, tượng Bồ tát Văn Thù, tượng Bồ tát Phổ Hiền, ... Nhiều pho được tạc cao hơn người thật như 8 pho tượng Kim Cương và Hộ Pháp, cao chừng 3 m, trang nghiêm phúc hậu. Phần lớn các tượng này đều được coi là có niên đại cuối thế kỷ 18. Một số tượng khác được tạc vào giữa thế kỷ 19. 

Đặc biệt là tượng 18 vị La Hán được thờ ở chùa Thượng. Đó là 18 vị Sư tổ của Phật giáo. 18 bức tượng là 18 cá thể, mỗi người một dạng vẻ, một tư thế, ai nấy đều có nét riêng biệt, chân thực. Khi tới thăm các pho tượng nơi đây không ai không liên tưởng tới bài thơ “Các vị La Hán chùa Tây Phương” (Huy Cận)

Tổ thứ 1: Ma Ha Ca Diếp Tôn giả đứng ở bên trái tượng Tuyết Sơn, là một người tuổi cao, ăn mặc nghiêm chỉnh, ánh mắt tinh tường, khoát tay ở thế chém. Đây là một pho tượng đặc tả cả dung mạo và tính cách.

Tổ thứ 2: A Nan Đà tôn giả được tạo dáng đứng thẳng chững chạc, những nếp áo chảy sóng, tỷ lệ các phần cân đối, cả hình dáng và nội tâm đều sáng láng.

Tổ thứ 3: Thương Na Hòa Tu tôn giả bày ở gian bên phải toà chùa trong, tạo hình là một ông già ngồi chân thõng chân co vắt ngang, một tay để trên đùi còn tay kia thu trong bọc, áo mặc nhiều nếp lượn để lộ ngực xương, đôi mắt xụp, miệng mím… tạo nên hình ảnh một ông già khắc khổ, luôn lo toan, suy nghĩ, sống nội tâm.

Tổ thứ 4: Ưu Ba Cúc Đa tôn giả. Đây là một pho tượng rất thành công trong sự cân đối và sống động.

Tổ thứ 5: Đề Ca Đa tôn giả được bày ở bên trái Tổ thứ 4, ở thế ngồi, hai tay đưa trước ngực gợi lại điềm lành, nhưng khuôn mặt đăm chiêu như có sự vướng mắc chờ đợi người xứng đáng để trao truyền y bát.

Tổ thứ 6: Di Giá Ca tôn giả được đặt ở giữa Tổ thứ 3 và Tổ thứ 5, thế đứng chững chạc, mặc áo dài nghiêm túc, tay phải thu trong bọc còn tay trái như bấm đốt lần tính, khuôn mặt có vẻ bàng hoàng ngơ ngác. Tượng có dáng vẻ bình tĩnh song nội tâm lại bất an.

Tổ thứ 7: Bà Tu Mật tôn giả được nghiên cứu rất kỹ để từng chi tiết phối hợp lại bộc lộ rõ tính cách lịch thiệp, trang trọng, ngoại hình gắn bó chặt chẽ với nội tâm.

Tổ thứ 8: Phật Đà Nan Đề tôn giả bày ở các góc ngoài phía bên phải toà chùa trong, là một người béo tốt, ngồi bệt, chân phải xếp bằng, chân trái chống nghiêng, tay trái để trên đùi, tay phải đang ngoáy tai. Đây là pho tượng đặc biệt sống động biểu hiện sự giao tiếp và ứng xử văn hoá uyên bác.

Tổ thứ 9: Phục Đà Mật Đa tôn giả được bày ở bên trái Tổ thứ 8, đang ngồi tựa mỏm đá, mặc áo nhiều nếp nhăn, để hở ngực và cánh tay. Tượng được nhấn mạnh những nét gồ ghề, tạo sự già dặn từng trải pha chút hóm hỉnh. Đây là tác phẩm thể hiện được một nội tâm khá phức tạp.

Tổ thứ 10: Hiệp tôn giả được bày ở bên trái Tổ thứ 9, tả cảnh ngài đang đứng tựa vào thân cây già, râu tóc đều rất ngắn, mặt bóng bẩy hóm hỉnh, tay phải cầm quạt, còn tay trái tỳ lên cổ tay phải, đôi mắt tròn sáng, miệng mím xít… Tất cả những đặc điểm biểu hiện đó là người hay quan sát, ít nói, có chí, rất giàu nghị lực.

Tổ thứ 11: Phú Na Dạ Xa là vị Tổ sư đã tìm được Mã Minh, giảng giải về Hiển giáo và Mật giáo, rồi truyền thanh tịnh pháp nhân cho làm Tổ thứ 12.

Tổ thứ 12: Mã Minh tôn giả đầy vẻ tự tin, thông minh, điềm tĩnh, rất chan hoà với mọi người.

Tổ thứ 13: Ca Tỳ Ma La tôn giả được đặt ở giáp tường hậu cuối gian bên trái toà chùa trong, đang bị mãng xà quấn quanh, nhưng Tổ vẫn điềm tĩnh đấu tranh chống lại cái ác.

Tổ thứ 14: Long Thụ tôn giả được đặt ở bên trái Tổ thứ 13, là vị Tổ duy nhất ngồi trên toà sen, với những đặc điểm: gò má cao, mắt nhắm, mũi nở, cằm nhọn thể hiện một nhà hiền triết uyên bác, ngồi tĩnh lặng nhưng nội tâm sôi động; là người từng trải, khắc khổ, xem nhẹ đời thường để suy tư hoàn chỉnh kinh pháp. 

Tổ thứ 15 Ca Na Đề Bà là người đã truyền đại pháp cho La Hầu La Đa làm Tổ thứ 16.

Tổ thứ 16: La Hầu La Đa tôn giả được bày ở bên phải Tổ thứ 13. Tổ ngồi trên phiến đá, hai chân thả chạm đất, cây gậy tích trượng để tựa vai do tay trái giữ. Tổ là vị duy nhất chít khăn cùng với toàn thân cân đối muốn gợi sự quyền quý oai vệ.

Tổ thứ 17: Tăng Già Nan Đề tôn giả được bày ở góc trong bên trái của toà chùa trong. Tượng được tạc với khuôn mặt chữ điền rạng rỡ, ngồi tì cằm lên bàn tay úp đè nhau trên đầu gối, cánh mũi nở, gò má đầy, nhắm mắt, khép miệng nhưng mỉm cười. Toàn thể bức tượng toát lên vẻ chững chạc, chứa đựng tư tưởng lớn.

Tổ thứ 18: Già Da Xá Đa tôn giả bày ở bên phải tượng Tổ thứ 16. Tượng có những đặc điểm hết sức phóng khoáng khiến cho người xem có thể thả sức tưởng tượng nhiều tình huống xảy ra phía trước.

Chùa Tây Phương với bộ tượng La Hán điển hình nhất của nghệ thuật điêu khắc Việt Nam thế kỷ 18 đã là một công trình tôn giáo đặc sắc tiêu biểu cho mỹ thuật Việt Nam thời Hậu Lê.

Hằng năm, chùa Tây Phương tổ chức hội chùa từ ngày mùng 6 đến mùng 10/3 âm lịch, thu hút du khách ở khắp mọi nơi đến chiêm bái. Chùa đã được Bộ Văn Hóa công nhận là Di tích lịch sử - văn hóa quốc gia năm 1962.

Trích bài thơ “Các vị La Hán chùa Tây Phương” (Huy Cận)