Bạch Dinh được gọi là Villa Blanche theo tên con gái yêu của Paul Doumer. Nghĩa tiếng Việt của từ này lại trùng với dáng sắc bên ngoài của nó nên dân địa phương quen gọi là Bạch Dinh, tức là Biệt thự trắng. Sau đó nhiều đời toàn quyền Đông Dương vẫn thích dùng Bạch Dinh làm nơi giải trí nên được gọi là Dinh toàn quyền. Dưới thời Mỹ, Bạch Dinh cũng là nơi an nghỉ và hội họp của tổng thống và các tướng lĩnh Sài Gòn. đây cũng chính là nơi giam lỏng vua Thành Thái (từ 1909-1910), một vị vua có tư tưởng yêu nước, chống lại ách đô hộ của thực dân Pháp.
Bạch Dinh nằm ở phía nam núi Lớn, trên pháo đài Phước Thắng cổ xưa, cao gần 30m so với mực nước biển. Từ tiền sảnh Bạch Dinh nhìn xuống, du khách sẽ có cảm giác như đang ở tầng lầu của một cao ốc xây dựng trên mặt nước biển, có thể dõi tầm mắt bao quát cả trung tâm thành phố Vũng Tàu.
Có hai lối lên Bạch Dinh. Một đường uốn quanh chạy dưới rừng cây giá tỵ, dành cho xe hơi lên tới tiền sảnh. Một đường đi bộ qua 146 bậc tam cấp cổ xưa, kín đáo nằm giữa hai hàng sứ cao niên. Bạch Dinh cao 19m, có ba tầng, mang đậm sắc thái kiến trúc của Pháp thời cuối thế kỷ 19. Tầng hầm dùng cho việc nấu nướng. Tầng trệt dùng làm khánh tiết. Tại đây còn bài trí những hiện vật cổ xưa dùng để trang trí nội thất như: Song bình Bách điểu chầu phụng, bộ tràng kỷ Hoàng Gia ghi niên đại Khải định năm 1921, cặp ngà voi Châu Phi dài 170cm, bộ tam đa ngũ thái Phúc - Lộc - Thọ. Tầng lầu thoáng đạt dành cho việc nghỉ ngơi. Dạo quanh Bạch Dinh, du khách không khỏi ngạc nhiên về tám bức tượng đá bán thân gắn trên một đường thẳng bao quanh ba mặt tường chính của toà nhà. Hầu hết tượng đều mang phong cách của nghệ thuật Hy Lạp cổ đại. Lúc bình minh hay khi chiều xế bóng, những bức tượng ký hoạ chân dung đối xứng trên nền chim công lấp lánh, trông thật tráng lệ và kỳ diệu. Với tất cả sự quyến rũ đó, Bạch Dinh không chỉ thoả mãn cho Paul Doumer mà các đời toàn quyền Đông Dương vẫn thích dùng Bạch Dinh làm nơi nghỉ ngơi, tĩnh dưỡng.
Hiện nay, Bạch Dinh được dùng làm nhà bảo tàng, trưng bày các chuyên đề như: đồ gốm thời Khang Hy vớt được từ xác tàu cổ đắm tại khu vực Hòn Cau - Côn Đảo, súng thần công cùng nhiều hiện vật có giá trị khác được tìm thấy qua các đợt khai quật khảo cổ ở Bà Rịa - Vũng Tàu… đến Bạch Dinh, du khách có thể tận hưởng không khí trong lành của biển, vẻ đẹp kiều diễm của Bạch Dinh hòa lẫn trong thiên nhiên cây cỏ, và được tận mắt thưởng ngoạn những cổ vật tiêu biểu, quý hiếm
.