Les coûts investis dans le fort Boyard sont totalement démesurés par rapport à sa bien maigre utilité à la fin de sa construction. On l’estime à plus de huit millions de francs de l’époque, soit à peu près deux cents cinquante millions d’euros actuels. Le génie maritime prend conscience alors de l’inutilité de la construction, et décide de ne pas armer le fort conformément aux prévisions de 1849. Seuls une trentaine de canons d’une technologie dépassée (ils se remplissent encore par la gueule) seront installées sur la terrasse et au rez-de-chaussée. Les étages, eux, n’en seront jamais équipés.

Comme pour appuyer cet amer constat, la garnison du fort signale de graves défauts. En effet, le manque de fond (six mètres seulement à cent mètres du fort) empêche les bateaux d’accoster à l’escalier ouest. Le fort est donc impraticable à la moindre tempête, pourtant fréquentes dans la région. Pour y remédier, on construit des jetées provisoires, qui seront très rapidement emportées par les vagues.

Au nord du bâtiment, des ouvriers construisent un brise-lame, qui permet alors d’empêcher que les vagues ne frappent le fort de plein fouet, ainsi qu’un havre d’abordage au sud. Les conditions climatiques de 1859 sont telles (vagues de plus de trente mètres de hauteur) que le fort ne sera pas ravitaillé du mois d’octobre au mois de janvier 1860. Les canons sont emportés, les casemates sont inondées. Le fort n’est alors « protégé » des vagues que très superficiellement. Gravement endommagé, il ne sera équipé d’une protection divisant les vagues en deux qu’après l’achèvement du « barachois », nom donné au port du fort, en 1866.

Mais l’entretien de ce monument inutile coûte cher. La France n’a plus d’ennemi, la paix règne en Europe et l’Etat ne sait que faire de ce fort. Encombrant, il est transformé en prison d’état (lieu où sont purgées les peines de longue durée) pour tenter de rentabiliser sa construction. Fier de son œuvre, l’Etat décide de faire construire une maquette démontable du fort à l’échelle 1/100000ème pour le montrer au public lors de l’exposition universelle de 1867.

Le fort Boyard devenu une prison d’état, enfermera près de deux cents prisonniers autrichiens en partance pour le bagne. Mais les conditions sont telles que les prisonniers se révoltent et hissent le pavillon noir. La population de l’île d’Oléron, en proie à la panique, fuie, de peur d’un débarquement punitif de la part des prisonniers. Mais l’armée réussit à faire revenir le calme.

L’armée est heureuse, elle a trouvé une fonction au fort Boyard. La prison fonctionne bien désormais, et accueille jusqu’à trois cents prisonniers en 1871 après la répression de la commune de Paris. C’est une prison de transition, la plupart des prisonniers seront plus tard envoyés au bagne pour y purger la fin de leur peine, en Nouvelle-Calédonie.

Parmi ces prisonniers, Henry De Rochefort, un journaliste opposé au pouvoir en place et favorable à la commune, restera huit mois au fort Boyard. Il sera élu à l’assemblée nationale en 1871, mais il s’oppose à la cession de l’Alsace-Lorraine à l’Allemagne. Il ne participe pas à la Commune, mais la soutient à travers son journal « mot d’ordre », en restant objectif et parfois en la critiquant. Il s’attire donc les foudres des deux camps : le pouvoir, et les communards.

La veille de la semaine sanglante (plus de quarante mille morts), il est arrêté et condamné à dix ans d’enfermement en fortification. Incarcéré dans le fort Boyard à partir du neuf novembre 1871, il imagine un véritable plan d’évasion, avec l’aide d’un complice extérieur et de son compagnon de cellule. Mais sa tentative échoue. Le marin est retrouvé mort sur la plage et les deux prisonniers l’attendent en vain. Suite à cet évènement, les mesures sécuritaires autour du fort s’intensifient.

Un autre journaliste a pu visiter le fort Boyard à l’époque, qu’il décrit comme étant « l’enfer de Dante », épisode religieux qui conduira le malheureux Dante en enfer, malgré ses neuf ans de purgatoire. C’est dire le poids que donnait le journaliste à sa métaphore. Pourtant, d’après les témoignages des prisonniers, ces derniers sont plutôt traités correctement. En effet, la garnison présente sur le fort sympathise avec la plupart d’entre eux, et les ravitaille en cigarettes, alcool,... Les familles des prisonniers peuvent leur rendre régulièrement visite. Plus tard, les prisonniers seront évacués vers le château d’Oléron ou en Nouvelle-Calédonie, d’où Rochefort parviendra à s’échapper en 1874.

Pendant quarante ans, le fort Boyard est occupé dans le cadre de la défense passive. Il est relié à Rochefort et Boyardville au moyen d’un câble télégraphique. En 1880, la vigie est équipée d’un phare qui permet d’éclairer la rade de l’île d’Aix. Depuis que la prison est fermée, seuls dix hommes, des civils et quelques militaires, restent garder le fort. Leur mission : surveiller la mer en vue d’une attaque... bien improbable... Ils n’ont pour armement que quelques torpilles, qui exploseront par accident en 1895, ce qui provoquera un petit séisme sur le banc de sable. Les fissures, découvertes en 1862, ne s’aggravent pas malgré le choc. Huit ouvriers se chargent de l’entretien du fort alors peuplé par cinquante civils. Rochefort ravitaille le fort chaque semaine. Lorsque c’est impossible, un marin de l’île d’Aix récupère la marchandise et l’apporte au fort.

Au début des années 1900, moins d’une dizaine d’hommes peuplent le fort. Parmi eux, Alcide Arnaud livre un témoignage passionnant. Il a passé cinq ans sur le fort, et il explique que l’accostage est long et délicat, impossible par l’escalier et risqué par les jetées, qui sont très endommagées. Il travaille au fort entre avril et octobre, avec vingt-cinq ou cinquante autres personnes selon les marées. Le fort est ravitaillé deux à trois fois par mois, mais du pain frais est amené tous les jours. La pêche au filet permet aux habitants du fort d’améliorer la nourriture, et de s’occuper un peu.

Selon Monsieur Arnaud, c’est une vie dorée de prisonniers. Ils sont payés cinq francs par jours, contre deux seulement dans les champs et organisent des représentations théâtrales dans le fort avec leurs collègues. Il raconte qu’en 1907, les femmes furent autorisées à venir sur le fort voir leurs maris. Mais quelques incidents conduisirent le directeur du fort à interdire cette pratique. Pendant que les maris travaillaient, certains collègues allaient tenir compagnie à leur femmes... Alcide Arnaud dit avoir quitté le fort sans regret, avec un joli pactole de côté. Il est par la suite devenu agriculteur et est mort en 1978.

Suite de l’histoire du fort : « 1913 - 1980 : De l’abandon à sa nouvelle vie ».