Lễ hội này gắn liền với miếu Bách Linh - ngôi miếu rất linh thiêng trong tâm thức người dân nơi đây. Miếu nằm ở phía bắc thị trấn Quảng Uyên, dưới chân ngọn núi Cốc Bó. Miếu thờ 100 điều thiêng, đứng đầu là con rồng, một trong tứ linh (long, ly, quy, phụng). Không ai còn nhớ miếu được xây dựng năm nào. Miếu ban đầu bằng gỗ, đến năm Khải Định thứ 6 (1912), được làm lại bằng gạch, do Tri châu Quảng Uyên người Thái Bình đứng ra tổ chức xây dựng.  

Người dân nơi đây vẫn quen gọi là “chùa Bách Linh”. Ngày mùng 2/12/2003, miếu được Ủy ban Nhân dân tỉnh Cao Bằng công nhận là Di tích lịch sử văn hóa cấp tỉnh. Hàng năm, tại đây, người dân nô nức kéo đến dự lễ hội pháo hoa để tinh thần thêm phấn chấn, trước khi bước vào một vụ mùa mới, hứa hẹn nhiều điều may mắn.  

Lễ rước thần (thực hiện vào ngày hội chính, tức ngày 2/2 âm lịch) gồm có 4 đoàn rước kiệu, trước đây chỉ có 3 kiệu, sau này có thêm kiệu rước ảnh Bác Hồ, mỗi kiệu có 4 người khiêng, mặc lễ phục. Chiều mùng 2/2, phần hội được tổ chức tại sân vận động trung tâm huyện. Tại đây diễn ra nhiều trò chơi dân gian và biểu diễn văn nghệ như múa rồng, múa lân, tung còn, hát lượn, chơi đu và nhiều hình thức thể thao như bóng đá, cờ tướng, võ dân tộc...    

Một phần không thể thiếu và là trò chơi tiêu biểu của lễ hội pháo hoa là trò cướp đầu pháo. Đầu pháo là một chiếc vòng sắt trang điểm tua ngũ sắc sặc sỡ. Quả pháo được quấn chiếc vòng này là quả pháo cỡ lớn. Vào hội, pháo được đặt trên một đài cao. Sau khi đốt pháo, chờ cho đầu pháo rơi xuống, mọi lực sỹ của các đội trong huyện bắt đầu tranh cướp. Bằng mọi cách, hễ người của đội nào cầm được đầu pháo mang đến cho Ban Tổ chức, coi như đội đó thắng cuộc.  

Vì ngày nay cấm đốt pháo, nên Ban Tổ chức đã tiến hành trò chơi bằng cách đứng trên đài cao rồi tung vòng sắt (đầu pháo) ra cho các đội tranh cướp như thường lệ. Người dân địa phương quan niệm rằng trong ngày hội, ai bắt được vòng lộc pháo thì cả năm sẽ gặp may mắn, phát tài, phát lộc và đem lại vinh dự lớn cho xã mình. Xã nào thắng cuộc sẽ được phần thưởng là một con lợn quay trên kiệu trong lễ rước thần. Phần thưởng đó do đoàn rước đưa về tận địa phương. Và cỗ kiệu cũng được để lại cho xã đó hương khói cầu lộc một năm.   Đến lễ hội pháo hoa năm sau, địa phương này lại chuẩn bị một con lợn quay để lên kiệu, đoàn rước rồng sẽ đến lấy làm lễ rước thần, đồng thời làm phần thưởng cho đội thắng cuộc thi năm đó.