De roem van de ‘Grand Site de France® Saint-Guilhem-le-Désert – Gorges de l’Hérault’ is voornamelijk te danken aan de Abdij van Gellone die werd gebouwd door Guilhem, neef van Karel de Grote. Guilhem werd door middeleeuwse troubadours veelvuldig bezongen en was beroemd om zijn militaire campagnes tegen de Saracenen. Nadat hij in 803 Barcelona had ingenomen, legde hij de wapens neer om monnik te worden. In 804 stichtte hij, geïnspireerd door de heilige Benoît d'Aniane, een klooster
in het verlaten Gellone-dal.
Vanaf de 10e eeuw is Guilhem Saint-Guilhem en krijgt Gellone op religieus terrein steeds meer invloed. Het klooster wordt een geliefde halteplaats op de pelgrimsroute naar Santiago de Compostela.
Aan het begin van de 11e eeuw wordt er een begin gemaakt met de herbouw van de abdij. De abdij vertegenwoordigt de eerste romaanse kunt in de Languedoc.
Omdat de abdij op een van de pelgrimsroutes naar Santiago de Compostela ligt, staat ze vermeld op de Werelderfgoedlijst van de Unesco, net als de vlakbij gelegen Pont du Diable. Deze brug wordt beschouwd als een van de oudste bruggen van Frankrijk. De brug ligt in het uiterste zuiden van de Gorges de l’Hérault, exact op de abrupte overgang tussen de vlakte van de Languedoc en de Gorges de l'Hérault.