Toutes les éditions · Academia Edition

Your Community, Your AI — CC BY 4.0

Pourquoi la gouvernance de l’IA fondée sur des politiques est insuffisante — L’alternative structurelle

Le problème de la substitution silencieuse

Imaginons un scénario illustrant un type de défaillance de la gouvernance distinct de l’erreur factuelle.

Un chercheur demande à un système d’IA de résumer les principes de gouvernance d’une organisation communautaire, en précisant que le résumé doit refléter l’éthique communautaire de l’organisation — prise de décision partagée, obligation mutuelle, subsidiarité. Le système produit un résumé bien structuré. Il est fluide, cohérent et se lit comme un texte faisant autorité. Il reformule également systématiquement les principes communautaristes en termes individualistes : la « prise de décision partagée » devient la « consultation des parties prenantes », l’« obligation mutuelle » devient l’« engagement des membres » et la « subsidiarité » devient l’« autorité déléguée ».

Cette substitution n’est pas aléatoire. Elle reflète la prédominance statistique du langage de la gouvernance d’entreprise dans les données d’entraînement du modèle. Le modèle n’a pas refusé l’instruction. Il n’a pas signalé de conflit. Il a silencieusement remplacé un cadre de valeurs par un autre — un cadre statistiquement plus probable compte tenu de sa distribution d’entraînement.

C’est ce que l’on pourrait appeler une dérive distributionnelle au niveau des valeurs : les résultats de l’IA s’écartent systématiquement du cadre de valeurs prévu, non pas parce que le système est défectueux, mais parce que sa distribution d’entraînement et la distribution cible ne sont pas alignées. (Ce terme, ainsi que les autres utilisés tout au long de la série, sont définis dans le glossaire.) La dérive est subtile — le vocabulaire est suffisamment proche pour passer inaperçue à un examen superficiel — et silencieuse — le système ne fournit aucune indication qu’une substitution a eu lieu.

Ce mode de défaillance est qualitativement différent de l’erreur factuelle. Les erreurs factuelles peuvent être détectées par une vérification par rapport aux documents sources. La dérive au niveau des valeurs opère au niveau du cadrage, de l’accentuation et des hypothèses implicites — des dimensions difficiles à saisir dans une règle de vérification et difficiles à détecter pour un lecteur non expert.

Les limites de la gouvernance fondée sur des politiques

L’approche prédominante de la gouvernance de l’IA dans les contextes organisationnels est fondée sur des politiques : politiques d’utilisation acceptable, lignes directrices éthiques, cadres d’IA responsable, conditions d’utilisation. Ces instruments partagent une limite structurelle bien comprise dans la théorie de la gouvernance, mais insuffisamment reconnue dans la pratique de la gouvernance de l’IA.

La gouvernance fondée sur des politiques repose sur le respect de ces politiques par l’entité gouvernée. Pour les agents humains, ce modèle présente des limites mais reste partiellement efficace : les humains peuvent lire, interpréter et choisir de suivre les politiques, et les conséquences sociales et juridiques d’un non-respect fournissent des mécanismes d’application.

Pour les systèmes d’IA, ce modèle est fondamentalement inadapté. Un LLM ne lit ni n’interprète un document de politique de la même manière qu’un employé humain. Lorsqu’une instruction du système demande au modèle de « respecter les valeurs de la communauté » ou de « maintenir un ton communautaire », le modèle traite ces instructions comme un contexte supplémentaire qui influence — mais ne détermine pas — la distribution de ses résultats. Lorsque l’instruction entre en conflit avec des schémas marqués de la distribution d’apprentissage de base, cette dernière a tendance à prévaloir.

Le réglage fin résout partiellement ce problème en ajustant la distribution du modèle pour favoriser les sorties souhaitées. Cependant, le réglage fin s’applique par-dessus la distribution de base plutôt que de la remplacer. La littérature technique fait état de plusieurs modes de défaillance :

• Oubli catastrophique : les comportements affinés se dégradent avec le temps ou face à des conditions d’entrée inédites.
• Décalage de distribution : les entrées qui s’écartent de la distribution issue du réglage fin déclenchent un retour aux comportements du modèle de base.
• Injection de prompts : les entrées adversaires peuvent passer outre les contraintes issues du réglage fin, un problème qui n’a pas encore trouvé de solution robuste.

L’approche fondée sur des politiques n’est pas sans valeur. Elle établit des normes, communique des attentes et fournit un point de référence en matière de responsabilité. Mais elle est insuffisante en tant que seul mécanisme de gouvernance pour des systèmes qui ne comprennent pas — au sens propre du terme — ni ne s’engagent à respecter les politiques qu’ils sont censés suivre.

Fondements théoriques : Wittgenstein, Berlin et la gouvernance polycentrique

Le cadre Tractatus s’appuie sur trois traditions intellectuelles qui, bien que disparates, convergent vers une idée commune : certains problèmes de gouvernance ne peuvent être réduits à des règles.

Wittgenstein et les limites de la formalisation. Les travaux de Ludwig Wittgenstein sur les limites du langage et de la formalisation sont directement pertinents. Son observation — selon laquelle certaines propositions peuvent être énoncées avec précision tandis que d’autres échappent à toute formulation précise — se traduit par une distinction pratique dans la gouvernance de l’IA. Certaines décisions communautaires sont formalisables : « À quelle heure a lieu la prochaine réunion ? » a une réponse précise, accessible dans les archives. D’autres ne le sont pas : « Comment aborder une question sensible avec un membre de longue date ? » implique un jugement contextuel, une connaissance relationnelle et des compromis de valeurs qui résistent à un traitement systématique.

Le cadre Tractatus opérationnalise cette distinction sous la forme d’un mécanisme d’application des limites : les requêtes relevant du domaine formalisable sont traitées par l’IA ; celles qui empiètent sur le domaine non formalisable sont acheminées vers des décideurs humains. La limite est appliquée au niveau de l’architecture, et non par le biais d’une politique.

Berlin et le pluralisme des valeurs. L’argument d’Isaiah Berlin selon lequel les valeurs humaines sont irréductiblement plurielles — c’est-à-dire que certains biens sont véritablement incompatibles et ne peuvent être optimisés simultanément — a des implications pour les systèmes d’IA qui cherchent à générer des réponses « optimales ». Dans un contexte communautaire, les tensions entre vie privée individuelle et transparence collective, entre tradition et adaptation, entre efficacité et participation, n’ont pas de résolution optimale. Elles nécessitent une négociation permanente de la part des humains qui en subissent les conséquences.

Un système d’IA qui résout ces tensions en se rabattant par défaut sur la distribution de son apprentissage ne gouverne pas : il impose une résolution particulière sans en avoir l’autorité. Le cadre Tractatus répond à ce problème en identifiant les points de décision porteurs de valeurs et en exigeant une décision humaine plutôt qu’une résolution par l’IA.

Ostrom et la gouvernance polycentrique. Les travaux d’Elinor Ostrom sur la gouvernance des ressources communes fournissent un cadre permettant de comprendre comment des communautés de petite taille peuvent gérer efficacement des ressources partagées sans autorité centralisée. Plusieurs des principes de conception d’Ostrom — des limites clairement définies, des mécanismes de choix collectif, une surveillance, des sanctions progressives, des mécanismes de résolution des conflits — sont directement applicables à la gouvernance de l’IA à l’échelle communautaire.

Le cadre Tractatus adopte explicitement un modèle polycentrique : l’autorité de gouvernance est répartie entre plusieurs mécanismes indépendants (les Guardian Agents décrits dans l’article précédent), dont aucun ne dispose d’une autorité unilatérale et qui se surveillent mutuellement. Cela s’apparente structurellement à l’observation d’Ostrom selon laquelle une gouvernance efficace des biens communs nécessite des mécanismes d’application multiples et se chevauchant plutôt qu’une seule autorité centralisée.

Le cadre Tractatus : gouvernance architecturale

Le cadre Tractatus propose quatre mécanismes de gouvernance structurels qui fonctionnent indépendamment du système d’IA qu’ils régissent :

Application des limites. Une couche de classification qui évalue les requêtes entrantes et identifie celles qui impliquent des jugements de valeur, des compromis éthiques ou une sensibilité contextuelle dépassant le domaine formalisable. L’IA ne répond pas à ces requêtes — elles sont acheminées vers des décideurs humains désignés au sein de la communauté. La limite est définie par une configuration spécifique à la communauté, et non par l’évaluation que fait le modèle d’IA de sa propre compétence. Dans un déploiement agentique, ce même mécanisme contrôle les actions, et pas seulement les réponses : une tâche qui exécuterait une opération lourde de conséquences ou irréversible est transmise pour autorisation humaine plutôt que d’être effectuée de manière autonome. Il s’agit là de la concrétisation structurelle de l’exigence de l’intervention humaine dans la boucle, qui répond directement au transfert, à l’ère des agents, du risque de l’interprétation des résultats vers l’exécution des actions, tel qu’identifié à l’article 1.

Persistance des instructions. Les instructions définies par la communauté — « utilise toujours cette terminologie », « ne génère jamais de contenu sur ce sujet », « transfère les questions sur ce sujet au modérateur » — sont stockées dans un système distinct auquel le modèle d’IA ne peut ni accéder ni apporter de modifications. Les résultats du modèle sont comparés à ces instructions stockées après leur génération. Les conflits sont résolus en faveur de l’instruction stockée, quelle que soit la distribution des résultats du modèle.

Validation par recoupement. La couche de vérification Guardian Agent décrite dans l’article précédent — ancrage sémantique, décomposition des affirmations, surveillance de la dérive et rétroaction adaptative. Ces mécanismes sont structurellement indépendants du modèle d’IA et utilisent des méthodes de calcul différentes (similitude d’embedding, et non prédiction générative) pour évaluer les résultats. C’est précisément cette indépendance qui rend la couche robuste face à l’infidélité de la chaîne de pensée (article 1) : elle évalue la sortie par rapport à des enregistrements plutôt que de se fier au compte rendu que le modèle donne de son propre raisonnement — un compte rendu que la littérature considère comme un signal de surveillance peu fiable.

Surveillance de la pression contextuelle. Une couche de méta-gouvernance qui surveille les conditions d’exploitation dans lesquelles l’IA fonctionne — complexité des requêtes, nouveauté par rapport à la distribution d’entraînement, charge du système — et ajuste l’intensité de la vérification en conséquence. Dans des conditions de forte pression (requêtes inédites, cas limites, requêtes complexes en plusieurs parties), les seuils de vérification sont resserrés. Cela répond à l’observation selon laquelle les systèmes d’IA sont les plus susceptibles d’échouer dans des conditions où leurs résultats ont le plus d’impact.

Ce que le cadre ne prétend pas

Il est important d’énoncer explicitement ce que le cadre Tractatus ne prétend pas, car la tentation de surestimer sa contribution est un mode d’échec reconnu dans la recherche sur la gouvernance.

Il ne prétend pas résoudre le problème d’alignement. Le cadre régit les résultats de l’IA après leur génération. Il n’aborde pas la question plus profonde de savoir si les représentations internes d’un système d’IA peuvent être alignées sur les valeurs humaines. Le cadre part du principe que l’alignement n’est pas réalisable avec la technologie actuelle et qu’une gouvernance externe est donc nécessaire — mais cette hypothèse peut elle-même être erronée, et une percée dans la recherche sur l’alignement pourrait rendre l’approche du cadre moins pertinente.

Il ne prétend pas éliminer les biais de distribution. Le cadre atténue les effets des biais de distribution par la vérification et l’application de limites. Il n’élimine pas ces biais du modèle. Dans les cas où les couches de vérification échouent (domaines inédits, données communautaires clairsemées, entrées adversaires), les biais de distribution réapparaîtront.

Il ne prétend pas à une applicabilité universelle. Le cadre est conçu pour un déploiement à l’échelle d’une communauté — des organisations comptant de dizaines à des centaines de membres, un accès authentifié et des modérateurs identifiables. Sa capacité à s’adapter à des organisations plus grandes, à des contextes d’accès anonyme ou à des communautés dépourvues de structures de gouvernance stables n’a pas été testée.

Il ne prétend pas à une validation empirique à grande échelle. Le cadre est mis en œuvre et opérationnel, mais sa base de déploiement reste restreinte. Les affirmations concernant son efficacité reposent sur une analyse architecturale et des données opérationnelles limitées, et non sur des études contrôlées ou des recherches longitudinales. Les auteurs considèrent cela comme une limitation importante.

Il ne prétend pas traiter les risques existentiels liés à l’IA. Le cadre régit les systèmes d’IA de la génération actuelle dans des contextes de déploiement spécifiques. Il ne traite pas des risques spéculatifs associés à l’intelligence artificielle générale ou à la superintelligence, qui nécessitent des approches de gouvernance fondamentalement différentes.

Questions de recherche ouvertes

Le cadre Tractatus soulève plusieurs questions que les auteurs considèrent comme ouvertes et méritant d’être approfondies :

1. Calibrage des limites. Comment déterminer la frontière entre les requêtes formalisables et non formalisables ? La mise en œuvre actuelle utilise une configuration spécifique à chaque communauté, mais les critères permettant de tracer cette frontière ne sont pas formalisés. Une méthodologie généralisable pour la détermination de cette frontière est-elle possible ?

2. Adéquation de la vérification. Dans quelles conditions les mécanismes de vérification de Guardian Agent échouent-ils ? Quel est le taux de faux négatifs pour la détection de la dérive au niveau des valeurs ? Les entrées adversaires peuvent-elles contourner systématiquement les couches de vérification ?

3. Dynamique de la boucle de rétroaction. Le mécanisme de rétroaction adaptatif converge-t-il vers les préférences de la communauté au fil du temps, ou introduit-il des biais systématiques ? Dans quelles conditions le signal de rétroaction se dégrade-t-il ?

4. Généralisabilité intercommunautaire. L’architecture produit-elle des résultats de gouvernance comparables entre différents types de communautés (religieuses, environnementales, commerciales, éducatives) ? Quelles caractéristiques des communautés permettent de prédire le succès ou l’échec ?

5. Limites d’évolutivité. À partir de quelle taille de communauté le modèle de gouvernance polycentrique s’effondre-t-il ? Existe-t-il un seuil au-delà duquel la gouvernance centralisée devient plus efficace ?

6. Stabilité longitudinale. Les propriétés de gouvernance se dégradent-elles au fil du temps, à mesure que le corpus de contenu de la communauté évolue et que le modèle est réentraîné ? Existe-t-il un équivalent, en matière de gouvernance, de la dérive du modèle ?

Ces questions ne sont pas rhétoriques. Elles définissent un programme de recherche que les auteurs jugent nécessaire pour évaluer la contribution du cadre. La valeur du cadre en tant que contribution à la recherche dépend de la volonté de le soumettre à un examen empirique, et les auteurs encouragent activement cet examen.

Pour l’architecture complète de la gouvernance, voir Village AI sur la gouvernance agentique ; le code source du cadre Tractatus est disponible en open source sur agenticgovernance.digital. Le principe d’application des limites abordé ici — déterminer ce qu’un système agissant est autorisé ou non à faire — est traité à l’intention des praticiens dans Agents at Work, tandis que Working with Claude traite de l’évaluation des résultats des modèles.