Toutes les éditions · Community Edition

Your Community, Your AI — CC BY 4.0

Pourquoi les règles et la formation ne suffisent pas — Le défi de la gouvernance

La lettre aux parents

Avant d’aborder la philosophie de la gouvernance, commençons par l’histoire d’une lettre.

Une directrice d’école demande à un système d’IA de l’aider à rédiger une lettre à l’intention des parents au sujet d’un incident délicat. Elle est précise : elle souhaite un ton bienveillant, mesuré et ancré dans les valeurs de l’école, à savoir la confiance et la responsabilité collective. Elle tape soigneusement sa demande et attend.

L’IA produit une lettre bien structurée. Elle est claire, professionnelle et exhaustive. Elle évoque la « communication avec les parties prenantes », l’« atténuation des risques », la « gestion de l’impact sur la réputation » et le « respect des obligations de divulgation ». Elle se lit facilement. Elle semble compétente. Et elle est complètement à côté de la plaque.

Les parents n’ont pas besoin d’une gestion des parties prenantes. Ils ont besoin d’entendre la voix d’une école en laquelle ils ont confiance. Ils n’ont pas besoin d’un discours sur l’atténuation des risques. Ils ont besoin d’être rassurés sur la sécurité de leurs enfants et de savoir que la communauté scolaire veille les uns sur les autres. La directrice a demandé de l’attention et de la responsabilité, et l’IA lui a fourni une communication de crise à la manière d’une grande entreprise — car ses données d’entraînement contiennent mille guides de relations publiques pour chaque exemple qui s’exprime avec la voix d’une école.

L’IA n’a pas refusé l’instruction de la directrice. Elle n’a pas dit : « Je ne connais pas la culture de votre école. » Elle a simplement remplacé ce qu’elle demandait par ce qui était statistiquement plus courant dans ses données d’entraînement. Cette substitution s’est faite en silence. Si la directrice avait été fatiguée, pressée ou moins attentive que d’habitude, elle ne l’aurait peut-être pas remarqué. La lettre aurait été envoyée, et les parents auraient reçu un message ne reflétant pas la tradition de l’établissement — rédigé de manière professionnelle, correctement structuré, mais subtilement aliénant.

Votre téléphone corrige automatiquement les mots. Vous voyez le soulignement rouge, et vous corrigez l’erreur. L’IA corrige automatiquement les valeurs. Et il n’y a pas de soulignement.

Quand les schémas prennent le pas sur les valeurs

La lettre de l’école n’est pas un cas isolé. Le même mécanisme opère dans chaque conversation avec une IA.

Lorsqu’un membre demande conseil à un système d’IA au sujet d’une situation interpersonnelle difficile au sein du groupe, le système se rabat par défaut sur le langage de la thérapie individuelle — entraînement à l’assertivité, définition de limites, prise en charge de soi — car c’est ce qui domine ses données d’entraînement. Il ne recourt pas au langage de l’accommodement mutuel, du compromis, ni à la sagesse pratique qui découle de la certitude que l’on travaillera aux côtés de cette personne lors des réunions pendant de nombreuses années.

Lorsqu’un secrétaire de club demande à l’IA de l’aider à rédiger une annonce délicate à l’intention des membres, celle-ci se rabat par défaut sur le langage de la communication d’entreprise — gestion des parties prenantes, cadres de communication, arguments clés — car la correspondance d’entreprise est largement plus nombreuse que la correspondance communautaire dans ses données d’entraînement.

L’IA n’est pas hostile à la culture de votre groupe. Elle ne connaît tout simplement pas la culture de votre groupe. Elle sait ce qui est statistiquement courant, et ce qui est statistiquement courant n’est pas ce qui importe le plus à votre communauté.

C’est là le problème de gouvernance. Ce n’est ni de la malveillance, ni de l’incompétence. C’est un biais structurel, qui opère en silence.

Lorsque l’IA agit, les enjeux s’intensifient

Tout ce qui précède était vrai lorsque l’IA se contentait de répondre. Comme l’a décrit l’article 1, l’IA agit de plus en plus — et lorsqu’une substitution silencieuse de valeurs est associée à une action plutôt qu’à une phrase, le problème de gouvernance s’accentue de trois manières spécifiques. Les experts en gouvernance qui étudient les agents IA soulignent ces trois mêmes aspects. (Tout terme inconnu dans cette série est défini en langage clair dans le glossaire.)

Certaines actions sont irréversibles. Un brouillon mal rédigé peut être corrigé avant d’être envoyé — il existe un délai entre la production de l’IA et la conséquence. Un agent qui envoie, réserve, publie, supprime ou classe élimine ce délai. La mandante de notre histoire a repéré la mauvaise lettre parce qu’elle l’a lue en premier. Un agent qui l’aurait envoyée par e-mail en son nom ne lui aurait pas donné cette chance.

La responsabilité devient floue. Lorsqu’un agent agit en votre nom et que le résultat est erroné, qui est responsable ? Vous avez défini un objectif en une phrase ; le système a choisi les étapes ; l’entreprise a conçu le système. Les chercheurs qualifient le fossé qui s’ouvre ici de « fossé de responsabilité » — et mettent en garde contre la « zone de déformation morale », où la faute retombe sur l’humain le plus proche, même si cette personne n’avait que peu de contrôle réel. Une communauté qui laisse un agent externe agir en son nom hérite de la responsabilité sans en avoir le contrôle.

Vous ne pouvez pas donner votre plein consentement à ce que vous ne pouvez pas prévoir. Un consentement authentique implique de comprendre ce à quoi vous consentez. Or, le cheminement d’un agent au cours d’une tâche en plusieurs étapes est ouvert, et — comme le soulignait l’article 1 — même le compte rendu que l’IA donne de son raisonnement ne reflète pas de manière fiable ce qui a motivé ses actions. On peut consentir à un objectif ; on ne peut pas consentir de manière significative, à l’avance, à chaque étape qu’un système autonome pourrait franchir pour l’atteindre. (Certaines conceptions tentent de réduire cet écart en vous présentant un plan avant d’agir ; cela aide, mais ne comble pas entièrement l’écart.)

Rien de tout cela ne s’oppose à l’utilisation d’une IA qui agit. Cela montre simplement que la discipline qui était recommandée à l’ère des chatbots devient essentielle à l’ère des agents : le comportement de l’IA doit être contrôlé par une entité extérieure à l’IA, un humain doit rester en mesure d’intervenir, et les décisions lourdes de conséquences et irréversibles doivent rester entre les mains des humains. C’est exactement le sujet du reste de cet article.

Pourquoi multiplier les règles ne résout pas le problème

Face aux risques liés à l’IA, l’instinct de la plupart des organisations est de rédiger des politiques. Des politiques d’utilisation acceptable. Des lignes directrices en matière d’éthique de l’IA. Des conditions d’utilisation. Des cadres pour une IA responsable.

Ces documents ne sont pas inutiles, mais ils présentent une limite fondamentale : ils reposent sur le fait que le système d’IA les respecte.

Un système d’IA ne lit pas votre document de politique et ne décide pas de s’y conformer. Il génère des réponses en se basant sur des modèles statistiques présents dans ses données d’entraînement. Si ces modèles entrent en conflit avec votre politique, ce sont les modèles qui l’emportent — non pas parce que l’IA est rebelle, mais parce qu’elle ne comprend pas les politiques. Elle traite des modèles.

Vous pouvez affiner un modèle — ajuster son apprentissage pour privilégier certains comportements. Cela aide, mais cela ne résout pas le problème sous-jacent. L’affinage ajoute de nouveaux modèles à ceux qui existent déjà. Sous pression, dans des circonstances inhabituelles ou face à des questions inédites, les anciens modèles reprennent le dessus. Le terme technique est « oubli catastrophique », mais l’explication en langage clair est plus simple : l’apprentissage s’estompe.

Rédiger une politique stipulant « Notre IA respectera les valeurs de notre communauté » revient à rédiger une politique affirmant « Notre rivière ne débordera pas ». La rivière ne lit pas les politiques. Si vous voulez prévenir les inondations, vous devez construire des digues — des interventions structurelles qui fonctionnent indépendamment du comportement de la rivière.

La gouvernance de l’IA nécessite la même approche. Il ne s’agit pas de règles que l’IA est censée suivre, mais de structures qui fonctionnent indépendamment de l’IA, en contrôlant son comportement depuis l’extérieur.

Ce que nous enseignent les traditions de gouvernance

L’idée selon laquelle certaines décisions ne peuvent se réduire à des règles n’est pas nouvelle. Elle est ancienne.

Le philosophe Ludwig Wittgenstein a consacré sa carrière à explorer la frontière entre ce qui peut être énoncé avec précision et ce qui se situe au-delà de toute formulation précise. Sa conclusion — selon laquelle « ce dont on ne peut parler, il faut le taire » — s’applique directement à la gouvernance de l’IA. Certaines questions peuvent être systématisées : « À quelle heure a lieu la prochaine réunion ? » a une réponse précise qu’une IA peut trouver. D’autres questions ne le peuvent pas : « Comment devrais-je soulever cette préoccupation auprès du comité sans offenser personne ? » implique un jugement, un contexte, des relations et des valeurs qui résistent à un traitement systématique.

La frontière entre ce qui peut être délégué à une machine et ce qui doit rester du ressort des humains constitue le fondement d’une gouvernance solide de l’IA. L’erreur n’est pas d’utiliser l’IA pour le premier type de question. L’erreur est de permettre à l’IA de répondre au second type sans supervision humaine.

Isaiah Berlin, le philosophe politique, a soutenu que certaines valeurs humaines sont véritablement incompatibles — liberté et égalité, tradition et progrès, conscience individuelle et harmonie communautaire. Il n’existe aucune formule permettant de résoudre ces tensions. Elles nécessitent un jugement humain constant, une négociation et ce type de sagesse pratique que les communautés développent au fil des générations.

Les systèmes d’IA, de par leur conception, cherchent à optimiser. Ils recherchent une réponse unique. Mais lorsque les valeurs sont véritablement en conflit, il n’y a pas de réponse unique — il n’y a que la réponse que ce groupe, à ce moment-là, avec ces personnes, juge comme étant la moins mauvaise. Ce jugement est intrinsèquement humain, et tout cadre de gouvernance de l’IA qui prétend le contraire ne gouverne pas — il abdique.

Les groupes communautaires ont leur propre vision de cette réalité. Tout comité qui a dû concilier un budget limité avec des priorités concurrentes, gérer un désaccord entre des membres de longue date ou décider comment accueillir de nouveaux arrivants sans s’aliéner les membres existants comprend déjà — par expérience pratique — pourquoi on ne peut pas confier à l’IA les décisions relatives aux valeurs.

Comment Village gouverne l’IA sur le plan structurel

Village ne se contente pas de dire à l’IA comment se comporter. Il intègre la gouvernance dans l’architecture — des structures qui fonctionnent indépendamment de l’IA et ne peuvent être contournées par celle-ci.

Le « gardien des limites » empêche l’IA de prendre des décisions liées aux valeurs — et de mener de son propre chef des actions ayant des conséquences importantes. Lorsqu’une question implique des compromis en matière de vie privée, des jugements éthiques ou un contexte culturel, ou lorsqu’une tâche reviendrait à agir au nom de votre communauté, le système s’arrête et la transmet à un humain — votre modérateur, votre président, votre comité. L’IA ne peut pas outrepasser cette limite, car celle-ci fonctionne hors de son contrôle. C’est la réponse structurelle au problème du « manque d’occasions d’intervenir » : la possibilité d’intervenir est intégrée au système, elle n’est pas laissée au hasard.

Le système de persistance des instructions stocke les instructions explicites de votre communauté dans un système distinct que l’IA ne peut pas modifier. Lorsque l’IA génère une réponse, celle-ci est comparée à ces instructions stockées. Si la réponse contredit une instruction, c’est l’instruction qui prévaut — par défaut, indépendamment de ce que suggèrent les modèles d’apprentissage de l’IA.

Le validateur de recoupement vérifie les réponses et actions proposées par l’IA par rapport aux enregistrements réels de votre communauté. Il ne demande pas à l’IA si sa réponse est correcte — cela reviendrait à demander au système de se vérifier lui-même, et comme l’explique l’article 1, on ne peut pas se fier à l’explication donnée par une IA de son propre raisonnement pour refléter ce qui a réellement motivé la réponse. Le validateur ignore donc entièrement l’auto-évaluation de l’IA. Il utilise des mesures mathématiques, fonctionnant d’une manière fondamentalement différente de celle de l’IA, pour déterminer si la réponse s’appuie sur le contenu réel de votre communauté. Il vérifie le résultat, pas l’explication.

Le moniteur de pression contextuelle surveille les conditions de fonctionnement dégradées — les situations où l’IA est sous pression, traite des demandes complexes ou est confrontée à des questions inédites. Lorsqu’il détecte ces conditions, il renforce l’intensité de la vérification. Plus la question est difficile, plus la réponse fait l’objet d’un examen minutieux.

Il ne s’agit pas de politiques. Ce sont des structures. Elles fonctionnent que l’IA soit d’accord ou non avec elles, de la même manière qu’une digue fonctionne que le fleuve soit d’accord ou non avec elle.

La différence entre aspiration et architecture

De nombreuses organisations publient des déclarations d’éthique en matière d’IA. Village ne s’appuie pas sur des déclarations d’éthique. Il s’appuie sur des contraintes architecturales qui imposent la gouvernance de manière structurelle.

Cette distinction est importante, car l’aspiration correspond à ce que l’on espère voir se produire. L’architecture, c’est ce qui se produit réellement. Votre groupe ne se contente pas d’espérer que le trésorier gère correctement les fonds : il exige deux signatures sur chaque chèque. C’est cela, la gouvernance architecturale. Le même principe s’applique à l’IA.

Le cadre Tractatus — Transparent et ouvert

L’architecture de gouvernance qui sous-tend Village AI s’appelle le cadre Tractatus. Il convient d’en savoir trois choses.

Il est ouvert. L’intégralité du cadre est publiée sous une licence open source. N’importe qui peut lire le code, examiner les règles et vérifier que la gouvernance fait bien ce qu’elle prétend faire. C’est l’opposé de la gouvernance de l’IA pratiquée par les géants de la tech, où les règles sont propriétaires et le raisonnement dissimulé. Lorsque Google ou OpenAI vous affirment que leur IA est « alignée sur les valeurs humaines », vous n’avez aucun moyen de le vérifier. Avec Tractatus, vous pouvez lire chaque ligne de code.

Il est transparent. Chaque décision de gouvernance est consignée. Lorsque le « boundary enforcer » empêche l’IA de prendre une décision relative aux valeurs, cet événement est enregistré. Lorsque le « cross-reference validator » détecte une incohérence, celle-ci est enregistrée. Vos modérateurs peuvent voir exactement ce que le système de gouvernance a fait et pourquoi. Il n’y a pas de couche cachée où les décisions sont prises sans obligation de rendre des comptes.

Il est adaptable. Le cadre n’est pas un ensemble rigide de règles imposées de l’extérieur. Les communautés peuvent façonner la gouvernance pour qu’elle reflète leurs propres priorités. Un club sportif et une association de parents d’élèves ont des valeurs différentes, des sensibilités différentes, des limites différentes. Le cadre Tractatus tient compte de cela — non pas en laissant les communautés affaiblir la gouvernance, mais en leur permettant de définir ce que la gouvernance protège. Les statuts de votre groupe, ses priorités, ses limites — appliqués de manière structurelle, et pas seulement consignés par écrit.

Le cadre complet, y compris les recherches qui le sous-tendent, est disponible sur agenticgovernance.digital. Vous n’avez pas besoin de le lire pour utiliser Village : la gouvernance fonctionne, que vous l’examiniez ou non. Mais si vous souhaitez comprendre exactement comment votre IA est gouvernée, la porte vous est ouverte.

Dans le prochain article, nous examinerons ce que Village AI fait concrètement aujourd’hui : en quoi il peut aider votre groupe, comment les biais sont traités grâce au système de vocabulaire, et ce qui reste encore à perfectionner.

Vous souhaitez utiliser correctement et en toute sécurité des outils d’IA comme ceux-ci ? Nos formations gratuites — Travailler avec Claude et Agents at Work — vous enseignent les compétences pratiques nécessaires. Pour découvrir l’architecture de gouvernance complète qui sous-tend Village AI, consultez Village AI — Gouvernance agentique.