Le Comité National des Œuvres Sociales, Sportives et Culturelles de l’Administration Pénitentiaire est propriétaire du site depuis 1980, date à laquelle ils ont entamé un ambitieux chantier de restauration du monument.
Le CNOSAP s’est fixé comme objectif de restaurer les bastions effondrés du côté de la route départementale. Pour ce faire, il a été fait appel à des personnes détenues de la Maison Centrale de Saint Martin de Ré qui ont œuvré durant sept ans sous le contrôle de spécialistes des Monuments Historiques.
Le CNOSAP a ouvert le site à la visite en 2005 et des chantiers de restauration bénévoles ont permis la restauration de plusieurs bâtiments.