Theo Thuyền Uyển Tập Anh và Ðại Việt Sử Ký Toàn Thư, vị thiền sư đầu tiên trụ trì chùa Non Nước tên là Ngô Chân Lưu (933-1011), hậu duệ của Ngô Quyền. Năm 971, ông được vua Ðinh Tiên Hoàng phong hiệu Khuông Việt Đại sư. Ðó là vị thiền sư đầu tiên được Nhà nước phong kiến phong tặng danh hiệu Quốc sư Tăng Thống, danh hiệu tôn quý nhất của đạo và đời. Lịch sử ghi nhận, vị Quốc sư này cùng Vạn Hạnh Thiền sư đã phù trợ đưa Lý Công Uẩn lên ngôi chấn hưng đất nước. Năm 1010 Lý Công Uẩn rời đô từ Hoa Lư (Ninh Bình) ra Thăng Long mở đầu cho thời kỳ hưng thịnh nhất của lịch sử Nhà nước phong kiến Việt Nam. Khuông Việt Quốc sư trở thành Việt Nam tam triều Quốc sư (trải ba triều Ðinh - Lê - Lý).
Theo tiến sỹ Phật học Thượng tọa Thích Thanh Quyết, nơi đây từ khi lập nước Đại Việt (938) các Vua Chúa thường đến cử hành nghi lễ cầu nguyện Quốc thái dân an. Trải qua nhiều trăm năm, biến cố thăng trầm của lịch sử và thiên nhiên, tình cờ nền chùa cũ mới được phát hiện gần đây.
Năm 2002, chùa được xây dựng lại trên nền đất chùa cũ từ thời Tiền Lê, theo kiểu kiến trúc chùa cổ 7 gian 2 chái, trang trí những hoạ tiết hoa văn cũng theo nguyên mẫu của thời đó. Sau khi hoàn thành, chùa trở thành một trong những ngôi chùa to, đẹp nhất của Hà Nội, có khuôn viên tôn nghiêm, phong cảnh hữu tình.
Chùa được dựng trên thế long chầu hổ phục. Bức tượng Phật tổ và chùa được đặt trong thế vòng cung, Đức Phật ngự trên ngai tựa lưng vào núi, có 9 ngọn núi lớn nhỏ chầu vào, trong đó có các núi như: Núi Đồng Sóc, núi Đá Đen (trên núi có đến hàng trăm phiến đá lớn nhỏ giống như từng đàn trâu, voi nằm phủ phục), núi Voi Phục, núi Mũi Cày, núi Vẩy Rồng, núi Đá Chồng…
Pho tượng Phật tổ Như Lai này là pho tượng bằng đồng đúc liền khối lớn trong khu vực Đông Nam Á, nặng 30 tấn, cao 6,50m, nếu kể cả bệ đá, chiều cao hơn 8m, được đúc ngày 8/4 Tân Tỵ (2001), đến ngày 8/8 Nhâm Ngọ (2002) được rước từ cơ sở đúc đồng huyện Ý Yên, tỉnh Nam Ðịnh về Sóc Sơn, an tọa tại chùa Non Nước.
Cũng tại đây, trên khu đất nằm trong quần thể "Non nước Thiền tự" dấu tích Phật giáo Thăng Long này, Học Viện Phật Giáo Việt Nam đã được xây dựng, đây là trường đào tạo tăng tài có quy mô lớn nhất của Việt Nam.
Chùa Non Nước Sóc Sơn cùng đền Sóc nơi thờ Thánh Gióng, một trong 4 vị thánh bất tử trong tâm thức người Việt, có công đánh đuổi giặc Ân xâm lược vào đời vua Hùng Vương thứ Sáu và Học Viện Phật Giáo Việt Nam đã trở thành một trong những trung tâm Phật Giáo lớn nhất của Việt Nam. Đây là khu du lịch tâm linh và sinh thái thu hút đông khách thập phương đi hành hương, khách du lịch trong nước và quốc tế đến tham quan, vãn cảnh.