Alle edities · Academia Edition

Your Community, Your AI — CC BY 4.0

Waarom op beleid gebaseerd AI-beheer ontoereikend is — Het structurele alternatief

Het probleem van de stille vervanging

Stel je een scenario voor dat een vorm van falend beheer illustreert die losstaat van feitelijke fouten.

Een onderzoeker vraagt een AI-systeem om de bestuursprincipes van een gemeenschapsorganisatie samen te vatten, met de specificatie dat de samenvatting het communitaire ethos van de organisatie moet weerspiegelen — gezamenlijke besluitvorming, wederzijdse verplichtingen, subsidiariteit. Het systeem produceert een goed gestructureerde samenvatting. Het is vloeiend, coherent en komt gezaghebbend over. Het herformuleert de gemeenschapsgerichte principes echter systematisch in individualistische termen: „gezamenlijke besluitvorming“ wordt „overleg met belanghebbenden“, „wederzijdse verplichtingen“ wordt „betrokkenheid van leden“ en „subsidiariteit“ wordt „gedelegeerde bevoegdheid“.

Deze vervanging is niet willekeurig. Ze weerspiegelt de statistische dominantie van corporate-governance-taal in de trainingsgegevens van het model. Het model heeft de instructie niet geweigerd. Het heeft geen conflict gesignaleerd. Het heeft in stilte het ene waardenkader vervangen door het andere — een kader dat statistisch gezien waarschijnlijker is gezien de trainingsverdeling.

Dit is wat men distributieve afwijking op waardeniveau zou kunnen noemen: de output van de AI wijkt systematisch af van het beoogde waardenkader, niet omdat het systeem defect is, maar omdat de trainingsverdeling en de doelverdeling niet op elkaar zijn afgestemd. (Deze term, en de andere termen die in deze reeks worden gebruikt, worden gedefinieerd in de woordenlijst.) De drift is subtiel — de woordkeuze lijkt op het eerste gezicht voldoende overeen te komen om een oppervlakkige controle te doorstaan — en stil — het systeem geeft geen enkele aanwijzing dat er een vervanging heeft plaatsgevonden.

Deze storingsmodus verschilt kwalitatief van feitelijke fouten. Feitelijke fouten kunnen worden opgespoord door verificatie aan de hand van brondocumenten. Afwijking op waardeniveau speelt zich af op het niveau van kadering, nadruk en impliciete aannames — dimensies die moeilijk in een verificatieregel te vatten zijn en voor een lezer die geen expert is moeilijk te detecteren.

De grenzen van beleidsgebaseerd bestuur

De overheersende benadering van AI-governance in organisatorische contexten is beleidsgebaseerd: beleid inzake aanvaardbaar gebruik, ethische richtlijnen, kaders voor verantwoorde AI, gebruiksvoorwaarden. Deze instrumenten hebben een structurele beperking gemeen die in de governance-theorie goed wordt begrepen, maar in de praktijk van AI-governance onvoldoende wordt erkend.

Beleidsgebaseerde governance vertrouwt erop dat de entiteit waarop het beleid van toepassing is, zich aan het beleid houdt. Voor menselijke actoren kent dit model weliswaar beperkingen, maar is het gedeeltelijk effectief — mensen kunnen beleid lezen, interpreteren en ervoor kiezen om het na te leven, en de sociale en juridische gevolgen van niet-naleving bieden handhavingsmechanismen.

Voor AI-systemen is het model fundamenteel ongeschikt. Een LLM leest en interpreteert een beleidsdocument niet op dezelfde manier als een menselijke medewerker dat zou doen. Wanneer een systeemprompt het model opdraagt om „gemeenschapswaarden te respecteren“ of „een gemeenschapsgerichte toon aan te houden“, verwerkt het model deze instructies als aanvullende context die de outputverdeling beïnvloedt — maar niet bepaalt. In situaties waarin de instructie in strijd is met sterke patronen in de basisverdeling van de training, heeft de trainingsverdeling de neiging om de overhand te krijgen.

Fine-tuning pakt dit gedeeltelijk aan door de verdeling van het model aan te passen ten gunste van gewenste outputs. Fine-tuning werkt echter bovenop de basisverdeling in plaats van deze te vervangen. In de technische literatuur worden meerdere faalmodi beschreven:

• Catastrofaal vergeten: fine-tuned gedrag verslechtert na verloop van tijd of onder nieuwe invoeromstandigheden.
• Verdelingsverschuiving: invoer die afwijkt van de fine-tuning-verdeling leidt tot een terugval naar het gedrag van het basismodel.
• Prompt-injectie: vijandige invoer kan de door fine-tuning ingestelde beperkingen tenietdoen, een probleem waarvoor nog geen robuuste oplossing is gevonden.

De op beleid gebaseerde aanpak is niet zonder waarde. Ze stelt normen vast, communiceert verwachtingen en biedt een referentiepunt voor verantwoordingsplicht. Maar ze is ontoereikend als enig bestuursmechanisme voor systemen die — in enige zinvolle zin — het beleid dat ze geacht worden te volgen niet begrijpen of zich er niet aan committeren.

Theoretische grondslagen: Wittgenstein, Berlin en polycentrisch bestuur

Het Tractatus-raamwerk put uit drie intellectuele tradities die, hoewel uiteenlopend, samenkomen in een gemeenschappelijk inzicht: sommige bestuursproblemen kunnen niet tot regels worden herleid.

Wittgenstein en de grenzen van formalisering. Het werk van Ludwig Wittgenstein over de grenzen van taal en formalisering is hier direct relevant. Zijn observatie — dat sommige uitspraken nauwkeurig kunnen worden geformuleerd, terwijl andere zich buiten een precieze formulering bevinden — sluit aan bij een praktisch onderscheid in AI-bestuur. Sommige beslissingen binnen een gemeenschap zijn formaliseerbaar: „Hoe laat is de volgende vergadering?“ heeft een eenduidig antwoord dat uit de administratie kan worden gehaald. Andere zijn dat niet: „Hoe moeten we een gevoelige kwestie met een langdurig lid aanpakken?“ vereist contextueel oordeel, relationele kennis en afwegingen tussen waarden die zich niet lenen voor een systematische behandeling.

Het Tractatus-raamwerk operationaliseert dit onderscheid als een grenshandhavingsmechanisme: vragen die binnen het formaliseerbare domein vallen, worden door de AI afgehandeld; vragen die het niet-formaliseerbare domein betreden, worden doorgestuurd naar menselijke besluitvormers. De grens wordt architectonisch gehandhaafd, niet via beleid.

Berlin en waardenpluralisme. Isaiah Berlins stelling dat menselijke waarden onherleidbaar pluralistisch zijn — dat sommige goederen werkelijk onverenigbaar zijn en niet tegelijkertijd kunnen worden geoptimaliseerd — heeft implicaties voor AI-systemen die „optimale“ reacties trachten te genereren. In een gemeenschapscontext kennen spanningen tussen individuele privacy en collectieve transparantie, tussen traditie en aanpassing, tussen efficiëntie en participatie, geen optimale oplossingen. Ze vereisen voortdurende onderhandelingen door de mensen die de gevolgen dragen.

Een AI-systeem dat dergelijke spanningen oplost door standaard uit te gaan van de verdeling uit de training, oefent geen bestuur uit — het legt een bepaalde oplossing op zonder daartoe bevoegd te zijn. Het Tractatus-raamwerk pakt dit aan door waardegeladen beslissingspunten te identificeren en menselijke beoordeling te vereisen in plaats van een AI-oplossing.

Ostrom en polycentrisch bestuur. Het werk van Elinor Ostrom over het beheer van gemeenschappelijke hulpbronnen biedt een kader om te begrijpen hoe kleinschalige gemeenschappen gedeelde hulpbronnen effectief kunnen beheren zonder gecentraliseerd gezag. Verschillende ontwerpprincipes van Ostrom — duidelijk afgebakende grenzen, regelingen voor collectieve keuzes, toezicht, graduele sancties, mechanismen voor conflictoplossing — zijn direct toepasbaar op AI-bestuur op gemeenschapsniveau.

Het Tractatus-raamwerk hanteert expliciet een polycentrisch model: de bestuursbevoegdheid is verdeeld over meerdere onafhankelijke mechanismen (de Guardian Agents beschreven in het vorige artikel), waarvan geen enkel unilaterale bevoegdheid heeft en die elkaar onderling controleren. Dit is structureel analoog aan Ostroms observatie dat effectief beheer van gemeenschappelijke hulpbronnen meerdere, elkaar overlappende handhavingsmechanismen vereist in plaats van één enkele gecentraliseerde autoriteit.

Het Tractatus-raamwerk: architectonisch beheer

Het Tractatus-raamwerk stelt vier structurele beheersmechanismen voor die onafhankelijk functioneren van het AI-systeem dat zij beheren:

Handhaving van grenzen. Een classificatielaag die binnenkomende vragen evalueert en die vragen identificeert waarbij waardeoordelen, ethische afwegingen of contextuele gevoeligheid betrokken zijn die buiten het formaliseerbare domein vallen. Dergelijke vragen worden niet door de AI beantwoord — ze worden doorgestuurd naar aangewezen menselijke besluitvormers binnen de gemeenschap. De grens wordt bepaald door een gemeenschapsspecifieke configuratie, niet door de beoordeling van het AI-model van zijn eigen competentie. Bij een agentische implementatie filtert hetzelfde mechanisme acties, niet alleen antwoorden: een taak die een ingrijpende of onomkeerbare handeling zou uitvoeren, wordt doorgestuurd voor menselijke goedkeuring in plaats van autonoom uitgevoerd. Dit is de structurele invulling van de ‘human-in-the-loop’-vereiste, en het pakt direct de in artikel 1 geïdentificeerde verschuiving van risico in het agententijdperk aan: van de interpretatie van output naar de uitvoering van acties.

Persistentie van instructies. Door de gemeenschap gedefinieerde instructies — „gebruik altijd deze terminologie”, „genereer nooit inhoud over dit onderwerp”, „stuur vragen over dit onderwerp door naar de moderator” — worden opgeslagen in een afzonderlijk systeem waartoe het AI-model geen toegang heeft en dat het niet kan wijzigen. De output van het model wordt na generatie getoetst aan deze opgeslagen instructies. Conflicten worden opgelost ten gunste van de opgeslagen instructie, ongeacht de outputverdeling van het model.

Validatie via kruisverwijzingen. De in het vorige artikel beschreven Guardian Agent-verificatielaag — semantische onderbouwing, decompositie van beweringen, driftmonitoring en adaptieve feedback. Deze mechanismen zijn structureel onafhankelijk van het AI-model en gebruiken verschillende rekenmethoden (overeenkomst in inbedding, geen generatieve voorspelling) om outputs te evalueren. Juist deze onafhankelijkheid maakt de laag robuust tegen onbetrouwbaarheid in de gedachtenketen (artikel 1): de laag evalueert de output aan de hand van gegevens in plaats van te vertrouwen op de eigen redenering van het model — een zelfverslag dat in de literatuur wordt beschouwd als een onbetrouwbaar signaal voor toezicht.

Monitoring van contextdruk. Een meta-governancelayer die de bedrijfsomstandigheden monitort waaronder de AI functioneert — complexiteit van query’s, nieuwheid ten opzichte van de trainingsverdeling, systeembelasting — en de verificatie-intensiteit dienovereenkomstig aanpast. Onder omstandigheden met hoge druk (nieuwe query’s, randgevallen, complexe meerdelige verzoeken) worden de verificatiedrempels aangescherpt. Dit speelt in op de constatering dat AI-systemen het meest waarschijnlijk falen onder omstandigheden waarin hun output de grootste gevolgen heeft.

Wat het raamwerk niet beweert

Het is belangrijk om expliciet te vermelden wat het Tractatus-raamwerk niet beweert, aangezien de verleiding om de bijdrage te overschatten een erkende faalmodus is in governance-onderzoek.

Het beweert niet het afstemmingsprobleem op te lossen. Het raamwerk reguleert AI-uitkomsten na generatie. Het gaat niet in op de diepere vraag of de interne representaties van een AI-systeem kunnen worden afgestemd op menselijke waarden. Het raamwerk gaat uit van de veronderstelling dat afstemming met de huidige technologie niet haalbaar is en dat extern beheer daarom noodzakelijk is — maar deze veronderstelling kan op zichzelf onjuist zijn, en een doorbraak in het onderzoek naar afstemming zou de aanpak van het raamwerk minder relevant kunnen maken.

Het pretendeert niet dat distributieve vertekening wordt geëlimineerd. Het raamwerk verzacht de effecten van distributieve vertekening door middel van verificatie en handhaving van grenzen. Het verwijdert de vertekening niet uit het model. Onder omstandigheden waarin de verificatielagen falen (nieuwe domeinen, schaarse gemeenschapsgegevens, vijandige invoer), zal distributieve vertekening zich opnieuw doen gelden.

Het pretendeert geen universele toepasbaarheid. Het raamwerk is ontworpen voor implementatie op gemeenschapsniveau — organisaties met tientallen tot honderden leden, geauthenticeerde toegang en identificeerbare moderators. Of het schaalbaar is naar grotere organisaties, contexten met anonieme toegang of gemeenschappen zonder stabiele bestuursstructuren, is nog niet getest.

Er wordt geen aanspraak gemaakt op empirische validatie op grote schaal. Het raamwerk is geïmplementeerd en operationeel, maar het aantal implementaties is klein. Beweringen over de effectiviteit zijn gebaseerd op architecturale analyse en beperkte operationele gegevens, niet op gecontroleerde studies of longitudinaal onderzoek. De auteurs beschouwen dit als een belangrijke beperking.

Er wordt niet beweerd dat het raamwerk existentiële AI-risico’s aanpakt. Het raamwerk regelt AI-systemen van de huidige generatie in specifieke implementatiecontexten. Het pakt geen speculatieve risico’s aan die verband houden met algemene kunstmatige intelligentie of superintelligentie, waarvoor fundamenteel andere bestuursbenaderingen nodig zijn.

Open onderzoeksvragen

Het Tractatus-raamwerk roept verschillende vragen op die de auteurs als open en onderzoekswaardig beschouwen:

1. Kalibratie van de grens. Hoe moet de grens tussen formaliseerbare en niet-formaliseerbare query’s worden bepaald? De huidige implementatie maakt gebruik van gemeenschapsspecifieke configuratie, maar de criteria voor het trekken van de grens zijn niet geformaliseerd. Is een generaliseerbare methodologie voor het bepalen van de grens mogelijk?

2. Toereikendheid van de verificatie. Onder welke omstandigheden falen de Guardian Agent-verificatiemechanismen? Wat is het percentage vals-negatieve resultaten bij het detecteren van afwijkingen op waardeniveau? Kunnen vijandige invoergegevens de verificatielagen systematisch omzeilen?

3. Dynamiek van de feedbacklus. Convergeert het adaptieve feedbackmechanisme in de loop van de tijd naar de voorkeuren van de gemeenschap, of introduceert het systematische vertekeningen? Onder welke omstandigheden verslechtert het feedbacksignaal?

4. Generaliseerbaarheid tussen gemeenschappen. Levert de architectuur vergelijkbare bestuursresultaten op voor verschillende soorten gemeenschappen (religieus, milieu, commercieel, onderwijs)? Welke kenmerken van de gemeenschap voorspellen succes of mislukking?

5. Grenzen van schaalbaarheid. Bij welke omvang van de gemeenschap faalt het polycentrische bestuursmodel? Is er een drempel waarboven gecentraliseerd bestuur effectiever wordt?

6. Stabiliteit op de lange termijn. Verslechteren de bestuurskenmerken in de loop van de tijd naarmate het inhoudscorpus van de gemeenschap evolueert en het model opnieuw wordt getraind? Bestaat er een bestuurskundig equivalent van modelafwijking?

Deze vragen zijn niet retorisch. Ze vormen een onderzoeksagenda die de auteurs noodzakelijk achten voor het evalueren van de bijdrage van het raamwerk. De waarde van het raamwerk als onderzoeksbijdrage hangt af van de bereidheid om het aan empirisch onderzoek te onderwerpen, en de auteurs moedigen dergelijk onderzoek actief aan.

Zie voor de volledige bestuursarchitectuur Village AI on Agentic Governance; de broncode van het Tractatus-raamwerk is als open source beschikbaar op agenticgovernance.digital. Het hier besproken principe van grenshandhaving — het bepalen wat een handelend systeem wel en niet mag doen — wordt voor praktijkbeoefenaars behandeld in Agents at Work, terwijl Working with Claude ingaat op de beoordeling van modeloutputs.