Ðây là một cái lầu duyên dáng quay mặt về hướng nam. Ngay trước mặt Phu Văn Lâu có một sân rộng dẫn đến nhà Nghinh Lương đứng trên bờ sông Hương.
Phu Văn Lâu làm từ thời Gia Long (1819), nhưng đến đời Minh Mạng mới định thể thức làm nơi công bố những chiếu thư quan trọng của nhà vua. Sau khi đã được tuyên đọc ở điện Thái Hòa hay cửa Ngọ Môn, người ta đặt chiếu thư lên một cái long đình có lọng che để quân lính cung Nghinh ra yết tại lầu. Các quan tỉnh Thừa Thiên theo hàng hàng bô lão cung kính đến lạy các chiếu thư.
Từ năm 1821, sau khi truyền lô, danh sách các khoa danh tiến sĩ được đem niêm yết tại đây. Vì tính cách long trọng như vậy nên hai bên lầu có hai bia đá "khuynh cái hạ mã" nhắc nhở tất cả mọi người đi ngang qua Phu Văn Lâu phải "nghiêng nón xuống ngựa".
Năm 1829 đã từng có một cuộc đấu giữa voi và cọp trước lầu để cho vua Minh Mạng ra xem. Vào các dịp tứ tuần, ngũ tuần của Minh Mạng có nhiều cuộc vui khác được tổ chức ở đây. Về sau các vua Thiệu Trị, Tự Ðức cũng giữ cái lệ ấy nhân những ngày khánh thọ của mình. Vua Thiệu Trị xem sông Hương và lầu Phu Văn là một trong 20 cảnh đẹp ở chốn Thần Kinh. Năm 1843 Thiệu Trị cho dựng một nhà bia bên tay phải lầu để khắc bài thơ Hương Giang Hiểu Phiếm (buổi sớm bơi thuyền trên sông Hương).
Bão năm Thìn (1904) thổi bay lầu Phu Văn, vua Thành Thái cho làm lại giống y như cũ.