Toutes les éditions · Policymaker Edition

Your Community, Your AI — CC BY 4.0

Pourquoi les principes ne suffisent pas — Le défi de la gouvernance

Le cœur du problème, en termes clairs

Cet article est essentiel pour toute personne chargée d’élaborer ou d’examiner une politique en matière d’IA, et son argument peut se résumer en une phrase : un principe inscrit dans une politique peut être respecté le lundi et sapé dès le vendredi — non pas par une décision défendue par qui que ce soit, mais par la dérive. Comprendre pourquoi il en est ainsi, et ce qui en découle, fait toute la différence entre un cadre qui tient la route et un autre qui se lit bien mais ne sert à rien. (Tout terme peu familier utilisé dans cette série est défini en langage clair dans le glossaire.)

La Nouvelle-Zélande et l’Australie, ainsi que de nombreuses autres juridictions, ont opté pour une gouvernance de l’IA fondée sur des principes : des déclarations selon lesquelles l’IA publique sera transparente, équitable, supervisée par des humains, vérifiable et respectueuse de la souveraineté des données. Ce sont de bons principes. La Charte des algorithmes pour l’Aotearoa Nouvelle-Zélande (2020) et le Cadre d’IA pour la fonction publique (2025) de la Nouvelle-Zélande les énoncent. Mais il est essentiel qu’un décideur politique ait pleinement conscience d’un fait, car c’est le cœur même de toute la question : ces instruments sont volontaires et non contraignants. Ils demandent aux agences de s’engager de bonne foi et de rendre compte de leurs actions de leur propre initiative. Ils n’imposent pas, en eux-mêmes, le respect des règles et ne disposent d’aucun moyen de contrainte propre. Ce n’est pas une critique à l’encontre de ceux qui les ont rédigés. C’est simplement une constatation de ce qu’est un instrument volontaire.

Pourquoi les principes s’affaiblissent

Un principe qui n’est ancré que dans une politique est vulnérable à une érosion dont personne n’a l’intention et dont personne n’est responsable. Le personnel change. Les budgets se resserrent. Une échéance arrive. Un nouveau système est acquis sous la pression, et l’engagement pris il y a trois ans n’est pas réexaminé. Rien de tout cela n’implique une décision d’abandonner le principe. Cela signifie simplement que le principe cesse discrètement de s’imposer, car aucun élément structurel ne le maintenait en place.

Le même schéma se retrouve au sein même des systèmes d’IA, et il est important de le comprendre car il ne s’agit pas d’une métaphore — c’est une propriété technique. On peut affiner un modèle pour mettre l’accent sur certains comportements : privilégier un langage civique, s’abstenir de porter des jugements de valeur, rester dans certaines limites. Cela aide. Mais cet affinage ajoute de nouveaux schémas à ceux qui existent déjà ; il n’efface pas ce qui était déjà là. Sous la pression, dans des circonstances inhabituelles ou face à des questions inédites, les anciens schémas reprennent le dessus. Le terme technique est « oubli catastrophique ». En langage courant, c’est plus simple : l’apprentissage s’estompe. Un engagement intégré à un modèle n’est pas une contrainte que le modèle ne peut franchir ; c’est une tendance qui s’affaiblit précisément lorsque les conditions sont les plus difficiles — c’est-à-dire au moment où un organisme public a le plus besoin qu’il tienne bon.

Il existe donc deux types de dérive dont un décideur politique doit tenir compte : la dérive institutionnelle d’un principe volontaire qui cesse d’être contraignant, et la dérive technique d’un comportement appris dont l’effet s’estompe. Les deux mènent à la même conclusion.

Une aspiration sans architecture

La conclusion est la suivante. Écrire « notre IA respectera les valeurs de notre communauté » dans une politique revient à écrire « notre rivière ne débordera pas » dans une politique. La rivière ne lit pas les politiques. Si l’on veut prévenir les crues, on construit des digues — des structures qui fonctionnent indépendamment du comportement de la rivière. Réguler l’IA nécessite la même approche : non pas des règles que le système est censé suivre, mais des structures qui fonctionnent indépendamment du système, en contrôlant son comportement et ses actions depuis l’extérieur.

C’est là la distinction entre l’aspiration et l’architecture, et c’est l’idée la plus importante de cette série qu’un législateur doit retenir. L’aspiration, c’est ce que l’on espère voir se produire. L’architecture, c’est ce qui se produit réellement parce que le système ne peut pas agir autrement. Une fiducie publique ne repose pas sur l’espoir que le trésorier gère correctement les fonds ; elle exige une double signature et un audit indépendant. C’est cela, la gouvernance architecturale, et elle va de soi dans tous les autres domaines de l’administration publique. L’IA est le domaine où l’on demande encore aux organisations d’accepter l’aspiration à la place de cette gouvernance.

La loi européenne sur l’IA est instructive à cet égard précisément parce qu’elle ne se contente pas d’exiger que les systèmes soient éthiques. Elle impose une documentation technique, une évaluation de la conformité, la journalisation, une surveillance post-commercialisation et — au cœur même de ces exigences — une supervision humaine significative. Cette exigence de supervision humaine doit être interprétée par les décideurs politiques non pas comme une aspiration que le fournisseur promet d’honorer, mais comme une exigence structurelle : une personne doit être désignée pour comprendre et, si nécessaire, interrompre le fonctionnement du système, et ce rôle doit être intégré de manière systématique plutôt que laissé à de bonnes intentions. Quelle que soit l’opinion que l’on ait sur la portée de la loi, c’est là l’instinct de conception dont il faut s’inspirer — et c’est cet instinct qu’une charte volontaire, par définition, ne peut pas fournir.

Le vide en matière de responsabilité

Il existe une autre raison pour laquelle les principes seuls ne suffisent pas, et celle-ci devient aiguë dès l’instant où l’IA passe de la réponse à l’action.

Lorsqu’un agent agit au nom d’un organisme public et que le résultat est erroné, qui est responsable ? Un fonctionnaire a fixé l’objectif ; le système a choisi les étapes ; le fournisseur a conçu le système ; l’organisme a autorisé son utilisation. Les chercheurs appellent l’espace entre ces acteurs le « fossé de responsabilité », et le mécanisme par lequel la responsabilité retombe néanmoins sur l’humain le plus proche la « zone de déformation morale » : la personne la plus proche de l’échec en assume la responsabilité, bien qu’elle n’ait eu que peu de contrôle réel sur les choix de la machine. Pour une institution publique, se voir attribuer la responsabilité d’actions que personne n’a spécifiquement autorisées n’est pas un malheur à gérer a posteriori ; c’est un échec de gouvernance qu’il faut prévenir dès la conception. Un cadre qui énonce la supervision comme principe mais ne comble pas le fossé de responsabilité n’a pas résolu la partie la plus difficile du problème.

Et la surveillance, comme l’a établi l’article 1, ne peut reposer sur le compte rendu que le système fait de lui-même. Le parcours d’un agent à travers une tâche en plusieurs étapes est ouvert, et l’explication que donne la machine de son propre raisonnement ne reflète pas de manière fiable ce qui a motivé ses actions. Une supervision significative doit donc porter sur ce que le système a réellement fait — en le recoupant avec des données réelles, provenant de l’extérieur du système — et non être déléguée à son auto-évaluation. Cela constitue, une fois encore, un argument en faveur de l’architecture plutôt que de l’aspiration.

Ce que la théorie de la gouvernance enseigne au législateur

L’idée selon laquelle certaines décisions ne peuvent être réduites à des règles n’est pas nouvelle. Elle est fondamentale pour la théorie politique et celle de la gouvernance, et trois penseurs méritent chacun un paragraphe car ils s’appliquent directement au problème.

Ludwig Wittgenstein a passé sa vie à la frontière entre ce qui peut être énoncé avec précision et ce qui se situe au-delà de toute formulation précise — « dont on ne peut parler, il faut se taire ». Certaines questions peuvent être systématisées : « Quand a lieu la prochaine séance ? » a une réponse précise qu’une machine peut trouver. D’autres ne le peuvent pas : Comment devrions-nous communiquer cette décision aux personnes concernées ? relève du jugement, du contexte et des relations. L’erreur n’est pas d’utiliser l’IA pour le premier type de question. L’erreur est de la laisser trancher le second type sans faire intervenir le jugement humain.

Isaiah Berlin a fait valoir que certaines valeurs humaines sont véritablement incompatibles — liberté et égalité, tradition et progrès, droit individuel et bien-être collectif — et qu’aucune formule ne permet de résoudre la tension qui les oppose. Les systèmes d’IA, de par leur conception, optimisent : ils recherchent la meilleure réponse. Mais là où les valeurs s’opposent véritablement, il n’y a pas de meilleure réponse, seulement la réponse que cette communauté, à ce moment précis, juge la plus appropriée. Ce jugement est intrinsèquement humain, et un cadre qui part du principe qu’une machine peut le porter ne gouverne pas, mais abdique.

Elinor Ostrom a montré que les communautés peuvent gérer avec succès des ressources partagées — sans privatisation ni contrôle centralisé — mais uniquement lorsque les structures de gouvernance sont à la hauteur de la complexité de ce qui est géré. L’IA est une ressource partagée au sein de toute institution qui l’adopte. La question politique est de savoir si les structures de gouvernance sont à la hauteur de la complexité de l’outil. Un principe en une seule ligne ne l’est pas.

De la politique à la preuve

Si le problème réside dans le fait qu’un principe formulé sous forme de politique peut être discrètement sapé, la solution consiste à rendre les engagements importants impossibles à saper discrètement — c’est-à-dire à les faire passer de simples promesses d’une institution à des éléments que l’architecture d’un système rend vérifiables. La recherche sur la gouvernance qui sous-tend l’IA gérée par la communauté résume ce point en une seule phrase qui mérite d’être citée à tout collègue pensant qu’une charte bien rédigée suffit :

« Là où une politique peut dériver, une chaîne de preuves ne peut pas être réécrite en silence. »

L’idée est à la fois simple et puissante. Lorsqu’une décision est importante, le système enregistre ce qu’il a fait de manière à ce que l’enregistrement ne puisse être que complété et soit vérifiable de manière indépendante — non pas « immuable » ni une promesse de permanence, mais inviolable : toute modification ultérieure est détectable et non silencieuse. Une décision porteuse de valeurs est transmise à un humain par une barrière que la configuration même du système ne peut désactiver. Les données sensibles sont conservées de telle sorte qu’un opérateur incapable de les lire ne puisse être contraint de les divulguer. Dans chaque cas, l’engagement n’est pas une phrase dans un document de politique ; c’est une propriété de l’architecture que le système ne peut désactiver.

Un décideur politique n’a pas besoin de maîtriser la cryptographie pour en saisir le sens. Celui-ci est le suivant : l’aspiration dit « nous serons transparents et vérifiables » ; l’architecture dit « la transparence et la vérifiabilité sont des propriétés que le système ne peut pas désactiver ». L’écart entre ces deux phrases est celui qui sépare un cadre qui dérive d’un cadre qui tient la route. L’article 5 aborde ce qu’un pays peut réellement faire à ce sujet.

Vous souhaitez utiliser correctement et en toute sécurité des outils d’IA comme ceux-ci ? Nos formations gratuites — Travailler avec Claude et Agents at Work — vous enseignent les compétences pratiques, depuis l’obtention de réponses fiables jusqu’au choix des tâches à confier à un agent. Pour découvrir l’architecture technique complète de Village AI, consultez Village AI — Gouvernance agentique.