Theo một số tư liệu cũng như các bậc cao niên trong làng kể lại thì nghề làm hương ở đây do một người Trung Hoa mang tới từ thế kỷ 13 và dạy cho dân làng. Đạo Phật và tục đốt hương không chỉ phát triển ở đây mà còn ở nhiều nơi khác. Thế nhưng sang thế kỷ 20 thì nghề hương ở Yên Phụ phát triển mạnh mẽ nhất và không chỉ thu hút dân trong làng mà còn hấp dẫn các làng khác theo với số lượng lớn.

Nghề làm hương tuy không nhàn hạ và thu nhập cũng chẳng lấy gì làm cao nhưng người dân vẫn một mực theo nghề vì họ cho rằng đây là nghề truyền thống.

Quả đúng như vậy, nghề hương ở đây rất vất vả, để làm ra được que hương phải mất bao nhiêu công đoạn. Nhà làm nghề thì tất cả các thành viên trong gia đình đều phải làm việc cật lực với sự phân công mỗi người một việc, từ nhỏ tới lớn, từ đơn giản nhất tới phức tạp. Người già và trẻ em thường đảm nhiệm những công việc nhẹ nhàng không phức tạp như vót que, phơi và thu lượm, đóng bao thành phẩm. Công đoạn khó và phức tạp nhất là khâu pha trộn bột mùn hương (loại mùn cưa gỗ) với một số hương liệu như bột hồi, quế, trầm... Công việc này phải do người có tay nghề, kỹ thuật và kinh nghiệm đảm nhiệm bởi nếu pha chế không cẩn thận hoặc không đúng liều lượng, hương sẽ không thơm...

Mặc dù đầu những năm 80 nghề làm hương ở đây có dấu hiệu bị mai một nhưng nó đã được khôi phục lại và tiếp tục phát triển cho đến tận ngày nay.