Chùa được khởi dựng bên bờ hồ Hoàn Kiếm trong khoảng năm 1770-1774 dưới thời Hậu Lê, Chùa còn có tên là chùa Tàu Tượng. sở dĩ chùa có tên Tàu Tượng vì đây vốn là nơi tập trung các tàu voi của đơn vị tượng binh đời Lê, có cả ngôi miếu Dương Võ có khắc văn bia Dương Võ bi kí, thờ ba vị có công luyện tập voi chiến, xem như ba tổ sư công tượng. Sang đời Nguyễn, miếu bị đổ nát, bia được chuyển sang chùa Phổ Giác.
Tới khi Pháp chiếm Hà Nội và lấy đất chùa xây tòa đốc lý (nay là Trụ sở UBND thành phố Hà Nội), chùa phải dời xuống khu vườn của Viện Thái Y cũ, tức ở cuối phố Ngô Sĩ Liên ngày nay. Chùa vẫn giữ tên Phổ Giác và dân chúng vẫn quen gọi là chùa Tàu. Tấm bia Dương Võ cũng được chuyển theo, hiện vẫn còn trong chùa. Chùa Phổ Giác có ý nghĩa là phổ cập và giác ngộ Phật pháp cho các phật tử và nhân dân. Ngoài thờ Phật, thờ Mẫu như nhiều chùa khác, chùa còn thờ Phan Cảnh Điệp, một người luyện voi giỏi thời vua Lê, chúa Trịnh.
Tương truyền Phan Cảnh Điệp là người Nghệ An. Đời Lê Hiển Tông có 1 con voi xổng chuồng, chạy tới Trường Thi phá phách lung tung, làm dân sợ hãi. Chúa Trịnh bèn ra lệnh ai có tài bắt được voi quay về chuồng sẽ trọng thưởng. Lúc ấy Phan Cảnh Điệp liền tới ngay, nhảy lên lưng voi, dùng búa sắt đánh vào đầu tỏ rõ uy lực buộc voi phải quay về trước điện Kính Thiên. Chúa Trịnh thấy thế mừng lắm trọng thưởng, thăng làm đội trưởng, phong hàm lục phẩm. Sau này ông còn cưỡi voi xông vào phá giặc nhiều trận nên được phong Quận Công. Phan Cảnh Điệp nhận tước nhưng không làm quan mà lại vào chùa thụ giới và niệm Phật. Tấm bia ở chùa có đoạn nói rất rõ vai trò của voi trong chiến trận và vai trò của Quận Công trong việc luyện voi giỏi ra sao.
Hiện trong chùa có tượng chân dung Phan Cảnh Điệp được thờ ở hậu cung. Chùa được xây dựng theo lối kiến trúc cổ độc đáo, hiện còn Tam quan, chùa chính, nhà mẫu và nhà Tổ. Tam quan được xây dựng theo kiểu đá vòm cuốn. Đây là một Tam quan đẹp và độc đáo trong kinh thành Thăng Long. Tam quan không xây dựng cao rộng bề thế mà tính độc đáo của nó là được cấu tạo bởi những hòn đá để mộc tạo thành hình một con sư tử lớn đang há miệng quỳ về phía bắc kinh thành Thăng Long. Các cánh cửa Tam quan được ghép bằng những thanh gỗ dài, đẽo tròn lại với nhau mô phỏng hình dáng cây tre. Kiểu Tam quan đá vòm này vừa đẹp vừa mang nhiều ý nghĩa khác nhau. Song ở đây có một ý nghĩa lớn nhất là chùa Phổ Giác là một trong những sơn môn lớn nhất của phái Tào Động - một thiền phái du nhập vào Việt Nam thế kỉ 17 - gắn với Tào Động là núi, bởi vậy cách tạo tác của Tam quan gợi về việc tu trên núi của phái này. Tiền đường có bảy gian tường hồi bít đốc, lợp ngói ta. Hậu cung nối với tiền đường thành hình chữ đinh.
Tòa điện Mẫu sáu gian, bốn gian thờ và hai gian tiếp khách. Nhà thờ Tổ cũng có sáu gian, giữa tòa điện Mẫu và nhà thờ Tổ là nhà khách. Hệ thống Tượng Phật và đồ thờ được bố trí rất đa dạng và phong phú với 20 tượng ở chùa chính, 11 pho ở nhà Mẫu, 6 pho ở nhà Tổ. Trong chùa còn Thần phả ghi công đức của Phan Cảnh Điệp, còn có tấm bia nói về nghề thuốc và dựng Y Miếu, hoành phi, câu đối, 13 tấm bia, 3 chuông đồng, 1 đôi ngựa đá, ngai và bài vị, khám thờ, nhang án, cửa võng được trang trí hoa văn, long, ly, quy, phượng, tứ quý cùng điển tích Phật giáo theo lối trang trí cổ truyền. Chùa còn nhiều đồ thờ tự khác với chất liệu đồng, gỗ, gốm sứ... Chùa Phổ Giác đã qua nhiều lần trùng tu và sửa chữa, các bia dựng năm 1856 - 1876 còn ghi rõ việc tu sửa chùa, đôi câu đối ngoài trụ biểu ghi năm Bính Tuất 1886 trùng tu lại tượng Phật, năm Kỷ Sửu 1889, sửa sang lại các nội thất, tiền đường, hậu cung, nhà thờ Tổ. Và đến năm 1951, chùa được trùng tu lại như hiện nay. Điểm neo Chùa được xếp hạng Di tích Lịch sử Nghệ thuật Kiến trúc vào 2/10/1991.