Toutes les éditions · Conservation Edition

Your Community, Your AI — CC BY 4.0

Pourquoi les règles et la formation ne suffisent pas — Le défi de la gouvernance

Le rapport de suivi

Avant d’aborder la philosophie de la gouvernance, commençons par l’histoire d’un rapport. (Tous les termes peu courants utilisés dans cette série sont définis en langage simple dans le glossaire.)

Une coordinatrice demande à un système d’IA de résumer une année de données de suivi des habitats pour le rapport annuel destiné aux bailleurs de fonds. Elle est précise : elle souhaite que les données soient présentées avec les réserves appropriées — en signalant les lacunes dans la couverture des relevés, en indiquant les endroits où l’effort des bénévoles a été inférieur aux prévisions et en faisant la distinction entre les tendances confirmées et les observations provisoires. Elle tape soigneusement sa demande et attend.

L’IA produit un résumé bien rédigé. Il est clair, professionnel et se lit comme un rapport de conseil soigné. Il évoque « un rétablissement significatif dans le secteur sud », « des tendances clairement à la hausse en matière de succès de reproduction » et « une couverture complète de la surveillance sur tous les sites ». Il se lit bien. Il semble faire autorité. Et il est subtilement erroné.

Dans le secteur sud, deux visites d’étude ont été manquées en raison d’inondations. Les données de reproduction présentent une lacune correspondant aux six semaines pendant lesquelles le bénévole habituel était malade. La couverture était inégale sur les sites de haute montagne car l’accès y était restreint pendant la saison de chasse. La coordinatrice a demandé des précisions, et l’IA lui a fourni un récit assuré — car ses données d’entraînement contiennent mille rapports soignés pour chaque rapport qui commence par mentionner ses incertitudes.

L’IA n’a pas refusé l’instruction de la coordinatrice. Elle n’a pas dit : « Je ne comprends pas les normes de rédaction scientifique. » Elle a simplement remplacé ce qu’elle demandait par ce qui était statistiquement plus courant dans ses données d’entraînement. Cette substitution s’est faite en silence. Si la coordinatrice avait été fatiguée, ou pressée de respecter la date limite fixée par le bailleur de fonds, elle ne s’en serait peut-être pas aperçue. Le rapport aurait été envoyé, et les bailleurs de fonds auraient reçu une image trompeuse des résultats du programme — rédigée de manière professionnelle, bien intentionnée, mais discrètement inexacte.

Votre téléphone corrige automatiquement les mots. Vous voyez le soulignement rouge, et vous corrigez l’erreur. L’IA corrige automatiquement les normes. Et il n’y a pas de soulignement.

Quand les schémas l’emportent sur la rigueur

Ce rapport de suivi n’est pas un cas isolé. Le même mécanisme opère dans chaque conversation avec l’IA.

Lorsqu’un bénévole demande conseil à un système d’IA pour identifier une espèce à partir d’une observation partielle, le système a pour réflexe de fournir une identification catégorique — car Internet récompense la certitude et pénalise les « je ne suis pas sûr ». Il ne dit pas naturellement « Il pourrait s’agir de l’espèce A ou de l’espèce B ; voici les éléments supplémentaires qui aideraient à les distinguer », car les réponses nuancées sont statistiquement sous-représentées dans ses données d’entraînement.

Lorsqu’un chef d’équipe demande à l’IA de l’aider à rédiger une réponse à une demande de permis d’urbanisme menaçant un site protégé, celle-ci adopte par défaut le langage prudent et équilibré propre à la gestion des parties prenantes — car les communications d’entreprise sont largement plus nombreuses que les plaidoyers en faveur de la conservation dans ses données d’entraînement. Elle ne recourt pas au langage précis et fondé sur des preuves exigé par les autorités chargées de l’aménagement du territoire, s’appuyant sur des données d’étude spécifiques et des références législatives.

L’IA n’est pas hostile à vos normes. Elle ne connaît tout simplement pas vos normes. Elle sait ce qui est statistiquement courant, et ce qui est statistiquement courant n’est pas nécessairement ce qu’il y a de plus rigoureux pour votre travail.

C’est là le problème de gouvernance. Ce n’est ni de la malveillance, ni de l’incompétence. C’est un biais structurel, qui opère en silence.

Lorsque l’IA agit, les enjeux s’intensifient

Tout ce qui précède était vrai lorsque l’IA se contentait de répondre. Comme le décrit l’article 1, l’IA agit de plus en plus — et lorsqu’un remplacement silencieux de la rigueur par la confiance s’applique à une action plutôt qu’à une phrase, le problème de gouvernance s’aggrave de trois manières spécifiques. Les experts qui étudient les agents d’IA soulignent ces trois mêmes aspects.

Certaines actions sont irréversibles. Un résumé trompeur peut être corrigé avant d’être envoyé — il existe un délai entre la production de l’IA et la conséquence. Un agent qui soumet, envoie, publie ou partage supprime ce délai. Dans notre histoire, la coordinatrice a repéré ce rapport trop optimiste parce qu’elle l’avait lu en premier. Un agent qui l’aurait soumis au bailleur de fonds — ou qui aurait intégré ces chiffres lissés à un ensemble de données régional — en son nom ne lui aurait pas donné cette chance. Et une donnée sensible, une fois partagée, ne peut être récupérée.

La responsabilité devient floue. Lorsqu’un agent agit en votre nom et que le résultat est erroné, qui est responsable ? Vous avez défini un objectif en une phrase ; le système a choisi les étapes ; l’entreprise a construit le système. Les chercheurs qualifient le fossé qui s’ouvre ici de « fossé de responsabilité » — et mettent en garde contre la « zone de déformation morale », où la responsabilité retombe sur la personne la plus proche, même si celle-ci n’avait que peu de contrôle réel. Pour une organisation dont la crédibilité scientifique est son capital, se voir attribuer la responsabilité d’une erreur que l’on n’a pas commise constitue un risque réel.

Vous ne pouvez pas donner votre consentement total à ce que vous ne pouvez pas prévoir. Un consentement authentique implique de comprendre ce à quoi vous consentez. Or, le cheminement d’un agent à travers une tâche en plusieurs étapes est ouvert, et — comme l’a souligné l’article 1 — même l’explication que donne l’IA de son raisonnement ne reflète pas de manière fiable ce qui a motivé ses actions. On peut consentir à un objectif ; on ne peut pas consentir de manière significative, à l’avance, à chaque étape qu’un système autonome pourrait franchir pour l’atteindre. (Certaines conceptions tentent de réduire cet écart en vous présentant un plan avant d’agir ; cela aide, mais ne comble pas entièrement le fossé.)

Rien de tout cela ne s’oppose à l’utilisation d’une IA qui agit. Cela montre simplement que la discipline qui était recommandée à l’ère des chatbots devient essentielle à l’ère des agents : le comportement de l’IA doit être contrôlé par une entité extérieure à l’IA, un humain doit rester en mesure d’intervenir, et les décisions lourdes de conséquences et irréversibles doivent rester entre les mains des humains. C’est exactement le sujet du reste de cet article.

Pourquoi multiplier les règles ne résout pas le problème

Face aux risques liés à l’IA, l’instinct de la plupart des organisations est de rédiger des politiques. Des politiques d’utilisation acceptable. Des lignes directrices en matière d’éthique de l’IA. Des conditions d’utilisation. Des cadres pour une IA responsable.

Ces documents ne sont pas inutiles, mais ils partagent une limite fondamentale : ils reposent sur le fait que le système d’IA les respecte.

Un système d’IA ne lit pas votre document de politique et ne décide pas de s’y conformer. Il génère des réponses en se basant sur des modèles statistiques présents dans ses données d’entraînement. Si ces modèles entrent en conflit avec votre politique, ce sont les modèles qui l’emportent — non pas parce que l’IA est rebelle, mais parce qu’elle ne comprend pas les politiques. Elle comprend les modèles.

Vous pouvez affiner un modèle — ajuster son apprentissage pour privilégier certains comportements. Cela aide, mais ne résout pas le problème sous-jacent. L’ajustement ajoute de nouveaux modèles à ceux qui existent déjà. Sous pression, dans des circonstances inhabituelles ou face à des questions inédites, les anciens modèles reprennent le dessus. Le terme technique est « oubli catastrophique », mais l’explication en langage clair est plus simple : l’apprentissage s’estompe.

Rédiger une politique stipulant « Notre IA respectera la rigueur scientifique », c’est comme rédiger une politique stipulant « Notre rivière ne débordera pas ». La rivière ne lit pas les politiques. Si vous voulez prévenir les inondations, vous devez construire des digues — des interventions structurelles qui fonctionnent indépendamment des intentions de la rivière.

La gouvernance de l’IA nécessite la même approche. Il ne s’agit pas de règles que l’IA est censée suivre, mais de structures qui fonctionnent indépendamment de l’IA, en contrôlant son comportement depuis l’extérieur.

Ce que nous enseigne la méthode scientifique

L’idée selon laquelle la vérification doit être indépendante du système vérifié n’est pas nouvelle. Elle est fondamentale en science.

L’évaluation par les pairs n’existe pas parce que les chercheurs ne sont pas dignes de confiance, mais parce que la personne qui a généré une découverte n’est pas la mieux placée pour l’évaluer. La reproduction externe existe parce que répéter une expérience dans un autre laboratoire permet de vérifier si le résultat est robuste ou s’il s’agit d’un artefact lié aux conditions locales. Les barres d’erreur existent parce qu’énoncer un résultat sans en préciser l’incertitude n’est pas de la science — c’est du marketing.

Ces principes s’appliquent directement à la gouvernance de l’IA.

Un système d’IA qui génère une réponse puis évalue sa propre réponse revient à ce qu’un chercheur examine son propre article. L’évaluation est structurellement compromise, quelle que soit l’intention. Ce qu’il faut, c’est une vérification externe — des systèmes architecturalement distincts de l’IA et qui mesurent ses résultats par rapport à des preuves indépendantes.

Le philosophe des sciences Karl Popper a soutenu que ce qui distingue la science de la non-science, c’est la falsifiabilité — la possibilité d’être réfuté. Un système d’IA qui génère des récits assurés et infalsifiables ne fonctionne pas de manière scientifique, quel que soit le nombre d’articles scientifiques présents dans ses données d’entraînement. Une gouvernance qui introduit la falsifiabilité — c’est-à-dire qui vérifie les affirmations de l’IA à l’aune de preuves concrètes — rétablit la discipline scientifique qui fait défaut à l’architecture de l’IA.

Isaiah Berlin, le philosophe politique, a fait valoir que certaines valeurs humaines sont véritablement incompatibles : efficacité et exhaustivité, rapidité et rigueur, accessibilité et précision. Il n’existe aucune formule permettant de résoudre ces tensions. Elles nécessitent un jugement humain constant, une négociation et ce type de sagesse pratique que les organisations développent au fil d’années de travail sur le terrain.

Les systèmes d’IA, de par leur conception, cherchent à optimiser. Ils recherchent la meilleure réponse. Mais lorsque les valeurs sont véritablement en conflit — lorsqu’un bailleur de fonds souhaite un récit sans faille et que les données exigent des nuances —, il n’y a pas de meilleure réponse. Il n’y a que la réponse que cette organisation, à ce moment précis, avec ces normes, juge la plus défendable. Ce jugement est intrinsèquement humain, et tout cadre de gouvernance de l’IA qui prétend le contraire ne gouverne pas — il abdique.

Comment Village gouverne l’IA de manière structurelle

Village ne se contente pas de dire à l’IA comment se comporter. Elle intègre la gouvernance dans l’architecture — des structures qui fonctionnent indépendamment de l’IA et ne peuvent être contournées par celle-ci.

Le « garde-frontière » empêche l’IA de se prononcer sur la qualité des données — et de prendre de son propre chef des mesures ayant des conséquences. Lorsqu’une question implique d’interpréter des résultats d’enquête ambigus, de peser des preuves contradictoires ou de formuler une recommandation ayant une incidence sur les décisions de gestion foncière, ou lorsqu’une tâche reviendrait à agir au nom de votre organisation — soumettre des documents, envoyer une réponse, partager des données au-delà de vos limites —, le système s’arrête et transfère la tâche à un humain : votre modérateur, votre coordinateur ou votre conseil d’administration. L’IA ne peut pas outrepasser cette limite, car celle-ci fonctionne hors de son contrôle. C’est la réponse structurelle au problème des « possibilités d’intervention réduites » : la possibilité d’intervenir est intégrée au système, elle n’est pas laissée au hasard.

Le système de persistance des instructions stocke les instructions explicites de votre organisation dans un système distinct que l’IA ne peut pas modifier. Lorsque l’IA génère une réponse, celle-ci est comparée à ces instructions stockées. Si la réponse contredit une instruction — par exemple, en présentant des affirmations sans réserve alors que l’instruction exige de mentionner les incertitudes —, l’instruction prévaut, par défaut, indépendamment de ce que suggèrent les modèles d’apprentissage de l’IA.

Le validateur de recoupement vérifie les résultats et les actions proposés par l’IA par rapport aux dossiers réels de votre organisation. Il ne demande pas à l’IA si sa réponse est correcte — cela reviendrait à demander au système de se vérifier lui-même, et comme l’explique l’article 1, on ne peut pas se fier à l’explication donnée par une IA de son propre raisonnement pour savoir ce qui a réellement motivé la réponse. Le validateur ignore donc entièrement l’auto-évaluation de l’IA. Il utilise des mesures mathématiques, fonctionnant d’une manière fondamentalement différente de celle de l’IA, pour déterminer si la réponse s’appuie sur le contenu réel de votre organisation. Il vérifie le travail, pas l’explication.

Le moniteur de pression contextuelle surveille les conditions de fonctionnement dégradées — les situations où l’IA est soumise à une forte pression, traite des demandes complexes ou est confrontée à des questions inédites. Lorsqu’il détecte ces conditions, il renforce l’intensité de la vérification. Plus la question est difficile, plus la réponse fait l’objet d’un examen minutieux.

Il ne s’agit pas de politiques. Ce sont des structures. Elles fonctionnent que l’IA soit d’accord ou non avec elles, de la même manière qu’une digue fonctionne que le fleuve soit d’accord ou non avec elle.

La différence entre aspiration et architecture

De nombreuses organisations publient des déclarations d’éthique en matière d’IA. Village ne s’appuie pas sur des déclarations d’éthique. Il s’appuie sur des contraintes architecturales qui imposent la gouvernance de manière structurelle.

Cette distinction est importante, car l’aspiration correspond à ce que l’on espère voir se produire. L’architecture, c’est ce qui se produit réellement. Votre fondation de protection de la nature ne se contente pas d’espérer que le trésorier gère correctement les fonds : elle exige deux signatures sur chaque chèque. Votre programme de surveillance ne se contente pas d’espérer que les bénévoles respectent le protocole : il fournit des formulaires d’enregistrement standardisés. C’est cela, la gouvernance architecturale. Le même principe s’applique à l’IA.

Le cadre Tractatus — Transparent et ouvert

L’architecture de gouvernance qui sous-tend Village AI s’appelle le cadre Tractatus. Il convient d’en savoir trois choses.

Il est ouvert. L’intégralité du cadre est publiée sous une licence open source. Tout le monde peut lire le code, examiner les règles et vérifier que la gouvernance fait bien ce qu’elle prétend faire. C’est l’opposé de la gouvernance de l’IA des géants de la tech, où les règles sont propriétaires et le raisonnement dissimulé. Lorsque Google ou OpenAI vous affirment que leur IA est « alignée sur les valeurs humaines », vous n’avez aucun moyen de le vérifier. Avec Tractatus, vous pouvez lire chaque ligne.

Il est transparent. Chaque décision de gouvernance est consignée. Lorsque le « boundary enforcer » empêche l’IA de prendre une décision, cet événement est enregistré. Lorsque le « cross-reference validator » détecte une incohérence, celle-ci est enregistrée. Vos modérateurs peuvent voir exactement ce que le système de gouvernance a fait et pourquoi. Il n’y a pas de couche cachée où les décisions sont prises sans obligation de rendre des comptes.

Il est adaptable. Le cadre n’est pas un ensemble rigide de règles imposées de l’extérieur. Les organisations peuvent façonner la gouvernance pour qu’elle reflète leurs propres priorités. Une fondation de protection de la nature et une paroisse ont des valeurs différentes, des normes de données différentes, des limites différentes. Le cadre Tractatus tient compte de cela — non pas en permettant aux organisations d’affaiblir la gouvernance, mais en leur permettant de définir ce que la gouvernance protège. Les statuts de votre organisation, vos normes de qualité des données, vos principes de reporting — appliqués de manière structurelle, et pas seulement documentés.

Le cadre complet, y compris les recherches sur lesquelles il s’appuie, est disponible sur agenticgovernance.digital. Vous n’avez pas besoin de le lire pour utiliser Village : la gouvernance fonctionne, que vous l’examiniez ou non. Mais si vous souhaitez comprendre exactement comment votre IA est gouvernée, la porte vous est ouverte.

Dans le prochain article, nous examinerons ce que Village AI fait concrètement aujourd’hui : en quoi il peut aider votre association de protection de la nature, comment les biais sont traités grâce au système de vocabulaire, et ce qui reste encore à perfectionner.

Vous souhaitez utiliser correctement et en toute sécurité des outils d’IA comme ceux-ci ? Nos cours gratuits — Travailler avec Claude et Agents at Work — vous enseignent les compétences pratiques nécessaires. Pour découvrir l’architecture de gouvernance complète qui sous-tend Village AI, consultez Village AI — Gouvernance agentique.