Chợ tình Khau Vai được hình thành vào năm 1919, bắt nguồn từ câu chuyện tình lãng mạn và có tên gọi ban đầu là chợ Phong Lưu. Chuyện kể rằng, vùng đất Khau Vai thời đó chỉ có người Nùng và người Giáy sinh sống thành từng làng. Rồi một ngày chàng trai người Nùng đem lòng yêu cô gái người Giáy. Chuyện tình của họ đang đẹp như mơ thì bị cha mẹ, họ hàng hai bên ra sức ngăn cản bởi việc dựng vợ, gả chồng là do cha mẹ sắp đặt và chỉ được lấy người trong cùng bộ tộc. Đôi trai gái rủ nhau trốn lên núi. Thế nhưng cuộc chạy trốn của họ đã gây xích mích, ẩu đả giữa hai làng người Nùng và người Giáy. Đôi trai gái rất đau lòng và đành bùi ngùi chia tay nhau. Hai người hẹn ước, dù không thành vợ chồng nhưng mỗi năm sẽ gặp lại nhau vào ngày chia tay (tức ngày 27/3 âm lịch). Thế là cứ ngày này mỗi năm, chàng trai và cô gái lại lên núi gặp gỡ, giãi bày tâm sự… Một ngày kia, dân làng biết chuyện đã rất cảm phục tình yêu trong sáng của đôi trai gái và quyết định mở chợ tại ngọn núi họ thường hẹn hò. Từ đó, mỗi năm một lần vào ngày 27/3 âm lịch, chợ lại được tổ chức nhưng không có cảnh người mua kẻ bán mà chỉ là nơi gặp gỡ, tâm sự của những đôi trai gái đã từng yêu nhau nhưng vì lý do nào đó mà không lấy được nhau.

Điểm đặc biệt hấp dẫn du khách ở chợ tình Khau Vai là có rất nhiều cặp vợ chồng dân tộc Tày, Nùng, Giáy, Mông... từ các xã Nậm Ban, Niêm Sơn, Tát Ngà, Lũng Pù, Sơn Vĩ, Thượng Phùng (huyện Mèo Vạc) và cả các xã Nà Luông, Đức Hạnh, Khuổi Phát của huyện Bảo Lạc (tỉnh Cao Bằng) cùng tham dự phiên chợ. Tại đây, vợ đi tìm bạn của vợ, chồng đi tìm bạn của chồng và họ không ghen tuông mà rất tôn trọng nhau, tôn trọng cả bạn của vợ, của chồng mình. Họ coi đó là sự linh thiêng, là bổn phận và trách nhiệm trước cuộc sống tinh thần của người bạn đời. Khi chợ tan, họ lại trở về cuộc sống sinh hoạt thường ngày bên người bạn đời chính thức của mình. Chợ còn thu hút những người trẻ tuổi đến để tìm tình yêu, tìm vợ, chồng cho mình qua tiếng khèn, tiếng hát...

Chợ tình Khau Vai được nâng lên thành lễ hội Chợ tình Khau Vai vào năm 2007. Từ năm 2012, lễ hội Chợ tình Khau Vai được tổ chức dưới hình thức Tuần Văn hóa du lịch Lễ hội Chợ tình Khau Vai.