O stavbě pevnosti se uvažovalo již ve druhé polovině 17. století, protože kvůli omezenému dostřelu kanónů bylo tehdy potřeba vykrýt děravý prostor mezi ostrovy Aix a Oléron, a ochránit tak Francii před nájezdy cizích, především britských námořních sil. Od plánů se ale nakonec upustilo, protože stavba se ukázala jako příliš drahá. Plány se znovu oprášily po britském útoku na Aix v roce 1757, ale kvůli logistickým problémům z budování pevnosti opět sešlo.

Stavět se začalo až za Napoleona Bonaparta v roce 1801. Kvůli problémům se základy se ale projekt po osmi letech přerušil a pokračovalo se až v roce 1837 za vlády Ludvíka Filipa Orleánského. Dílo bylo dokončeno o dvacet let později, ale tak nějak s křížkem po funuse. Dostřel kanónů se tou dobou zlepšil natolik, že nějaká pevnost mezi dvěma ostrovy už vlastně nebyla potřeba. Později sloužila jako vězení a následně byla opuštěna.

Jednašedesát metrů dlouhá, 31 metrů široká a 20 metrů vysoká pevnost se ale nakonec nestavěla  zbytečně - proslavila se jako málokterá jiná. Po rekonstrukci se zde totiž od roku 1990 koná velice populární televizní soutěž Klíče od pevnosti Boyard, v níž šestičlenný tým plní nejrůznější úkoly. Dočkala se i řady regionálních mutací, včetně české. Kdo by koneckonců neznal Paklíče, Pačesa nebo zapeklité hádanky vousatého otce Fury?