Trước kia đồi có tên là núi Nhỏ nhưng vào khoảng năm 1942, có một cư sĩ lên đồi cất am tu thân, đặt tên là Bạch Vân Am nên từ đó đồi có tên là Bạch Vân.
Từ chân núi Sam lên đồi Bạch Vân có hai đường chính. Một là đi theo ghềnh đá sau lăng Thoại Ngọc Hầu, đến lưng chừng núi thì rẽ qua cầu Hoà Bình đến Bạch Vân, hoặc đi vòng dưới chân núi theo hướng tây đến khu nghĩa địa sẽ có bậc thang đi lên đồi Bạch Vân khá dễ dàng.
Đến Bạch Vân du khách sẽ thấy nhiều tảng đá lớn, cheo leo, chồng lên nhau tạo thành mái che, hang động thiên nhiên đẹp mắt, thú vị. Trên đồi còn có nhiều chùa chiền, am cốc. Với độ cao vừa phải và nhiều địa điểm bằng phẳng tựa vào các khe đá lồng lộng gió nên hằng năm, vào mùa xuân, dân ở các vùng lân cận thường lên đây hóng gió, tổ chức ăn uống, vui chơi.