Juan XXII primer papa constructor 1316-1334
Inviste la residencia episcopal, que linda con la catedral y la transforma en residencia pontificia. Cerca de allí, erigió una sala de audiencias, cuyos restos en el patio principal son los únicos testigos. El actual Palacio de los Papas es principalmente obra de los dos pontífices que sucedieron a Juan XII: Benedicto XII y Clemente VI. Construirán el palacio gótico más grande en casi veinte años.
Benedicto XII creación de un palacio papal 1335-1342
Benedicto XII, confió la gestión del lugar a su compatriota del condado de Foix, el arquitecto Pierre Poisson. Poderosamente asentado sobre la roca, el edificio retoma la organización del palacio de Juan XXII. Dominando la ciudad con sus altos muros, como una mazmorra, la Tour du Pape es el elemento principal del proyecto. Es el corazón de los apartamentos papales y protege la sagrada persona del Papa y las riquezas de la Iglesia. Está conectado a los edificios de la corte por dos cuerpos de apartamentos privados.
En su prolongación se encuentran el ala del consistorio flanqueada por la torre de las capillas, así como las torres de Trouillas, las cocinas y las letrinas. Los jardines se presentan a continuación. Las alas del consistorio, de las Hostias, de los Familiares y de la Capilla, forman un cuadrilátero que encierra un patio. Benedicto XII hizo adornar su palacio ricamente con muebles, tapices y murales.
Clemente VI las nuevas ampliaciones (opus novum) 1342-1352
Desde el comienzo de su pontificado, Clemente VI completó la Tour de Trouillas, añadió una nueva torre de cocina e hizo construir la Tour de la Garde-Robe, contigua a la Tour du Pape. Posteriormente, el arquitecto Jean de Louvres, originario de Ile-de-France, adquirió la condición de jefe de proyecto y supervisó toda la organización de la obra de las nuevas ampliaciones, que movilizarían una media de 600 hombres en un contexto, no obstante, perturbado por la Guerra de los Cien Años y la Peste Negra.
Para empezar, Jean de Louvres hizo destruir el barrio vecino y realizó su obra principal y espectacular: la construcción de la Gran Audiencia, que pronto fue coronada por la Gran Capilla, flanqueada por el Gran Paseo. Luego, el arquitecto construyó el ala de los Grandes Dignatarios que se cierra en un espacio semipúblico y crea así la Cour d'Honneur.
Con Clemente VI, la elegancia gótica entra en el palacio. Abundan las bóvedas de crucería; esculturas, costillas, molduras adornan la piedra. Atrajo a su corte a los más grandes intelectuales y artistas de la época, como el pintor Mattéo Giovannetti, e hizo de Aviñón un crisol cultural y un foco de intercambios europeos. Engrandece su palacio por la atención y la escala que da a las decoraciones (frescos, vidrieras, orfebrería, muebles, tapices, etc.).
Cuando murió, la mayoría de los edificios estaban construidos. Durante las décadas siguientes, Inocencio VI (torre de Saint Laurent y La Gâche, galería del cónclave, etc.) y Urbain V (jardín y Roma) se encargaron de los trabajos de terminación y equipamiento de confort.
Después del regreso del papado a Roma
A principios del siglo XV, al final del Gran Cisma tras los reinados de Clemente VII y Benedicto XIII, el palacio se convirtió en residencia de legados y luego de vicelegados, hasta la Revolución. Luego se transformó en cuartel hasta que se abrió al público a principios del siglo XX.