Une pile est construite à la fin du XIIème siècle pour accueillir la chapelle Saint-Bénézet. L’édification de cette chapelle a été réalisée en plusieurs étapes, avec des modifications de niveaux pour en faire un lieu de pèlerinage autour des reliques du saint.
Ce premier départ de Pont, est resté pendant plusieurs décennies le seul élément de construction de l’ouvrage. On pouvait s’y rendre probablement à pied depuis la ville. Les premiers travaux de construction de l’ouvrage dans son ensemble semblent plus tardifs, et dateraient des années 1230. Sa construction s’est étalée sur plusieurs siècles. C’était un chantier permanent et les historiens doutent même que l’ouvrage fut, un jour, terminé en pierre dans sa totalité.
Construit sur des lits de galets, ce pont s’étirait sur environ 900 mètres et comptait quelques 22 arches. Il n’était pas rectiligne mais empruntait un parcours sinueux. Il permettait surtout de contrôler l’important trafic fluvial qui empruntait cette voie naturelle Nord/Sud. Il va devenir indispensable à la cour pontificale qui s’installe en Avignon au XIVe siècle. Très vite, les cardinaux s’installent à Villeneuve pour fuir les nuisances d’Avignon, qualifiée alors par le poète Pétrarque de « plus infecte et plus puante des villes de la terre ». A chaque passage sur le pont, les Papes ont pour habitude de s’arrêter devant la chapelle de Bénezet pour prier un instant et laisser une aumône d’un florin.
Louis XIV est l’un des derniers à avoir franchi le Rhône avant son « effondrement » au XVIIe siècle, mais il ne voulut jamais payer sa restauration, malgré sa volonté d’en devenir propriétaire.
