Les travaux de construction ont débuté en 1898 et se sont achevés en 1902, pour une mise en service en 1903. Ils ont été lancés par l’administration française, le Vietnam faisant alors partie de l'Indochine française. Le pont s’appelait Pont Doumer, du nom du gouverneur général de l’Indochine. Il s’est ensuite appelé Pont du fleuve Cai, puis, pont Long Bien, du nom d’un quartier de Hanoi.

La construction de ce pont fut un véritable défi, au vu des moyens de l’époque : entièrement en acier, il fut dessiné par les ingénieurs de Daydé & Pillé, et construit sur place, malgré la faiblesse de la sidérurgie locale. Une travée centrale était réservée au transport ferroviaire, et de chaque côté, un passage était dévolu aux piétons, remplacés aujourd'hui par les deux-roues. Sa structure est composée de 19 travées basées sur des poutres en porte-à-faux.

A son inauguration, il était le quatrième pont le plus long du monde, avec ses 1682 mètres, et le plus imposant d’Extrême-Orient. Il est en effet haut de 35 mètres. Les outrages du temps, et les forts bombardements de l’armée américaine lors de la Guerre du Vietnam n’ont jamais pu le détruire. Des piliers de renforts ont néanmoins dû être construits.

Le pont Long Bien est aujourd’hui partie intégrante de la ville de Hanoi et de la vie de ses habitants, qui y sont très attachés.