Đền Thái Vy được xây dựng theo kiểu ''nội công, ngoại quốc''. Trước đền có giếng Ngọc xây bằng đá xanh. Qua nghi môn phía bên phải là gác chuông hai tầng, tám mái, xây theo kiểu chồng diêm. Gác chuông làm bằng gỗ lim, mái lợp ngói mũi hài, các đầu đao cong vút như đuôi chim phượng. Bên hông có quả chuông đúc năm 1698.Từ sân rồng bước theo các bậc đá có độ cao 1,2m là đến Ngũ Đại môn (5 cửa lớn), có 6 cột đá tròn song song đều được chạm khắc nổi chầu và chính điện. Qua 5 cửa lớn là đến Bái Đường 5 gian uy nghi cũng có 6 cột đá vuông chạm khắc câu đối ở mặt ngoài, các mặt khác chạm khắc nổi: long, ly, quy, phượng, cá chép hoá long.

Hình thức tổ chức lễ hội gồm hai phần: phần lễ và phần hội .Phần lễ được tiến hành hai hình thức: rước kiệu và tế.Phần hội ở đền Thái Vy thực sự là phần vui chơi giải trí của nhân dân và những người đến dự. Có các trò múa lân, múa rồng, đánh cờ người, đấu vật, bơi thuyền...Tiếp theo 4 hàng cột, đều được chạm khắc nổi long vân.Qua Trung đường vào 5 gian Chính tẩm cũng có 8 cột đá tròn được chạm khắc nổi: cầm, kỳ, thi, hoạ. Trong cung khám của Chính Tẩm giữa là tượng Trần Thánh Tông, bên trái là tượng Trần Thái Tông, bên phải là tượng hoàng hậu Thuận Thiên. Ngoài ra, trong Chính Tẩm còn phối thờ Trần Nhân Tông (bài vị thờ), Trần Anh Tông. Từ xưa, hàng năm cứ đến ngày 14 tháng 3 (âm lịch), lễ hội đền Thái Vy được tổ chức, gọi là quốc lễ. Đây là dịp để nhân dân Ninh Bình và nhân dân cả nước tưởng nhớ công lao các vua Trần - những người có công lớn với dân, với nước.

Đến dự lễ hội đền Thái Vy là dịp chúng ta đi thăm các danh thắng ở đây, ngắm nhìn cảnh núi non, mây nước bao la, cũng là dịp thả bay trong gió những lo toan trần tục để hướng về cội nguồn, tưởng nhớ công lao các vua Trần.