Alle edities · Academia Edition

Your Community, Your AI — CC BY 4.0

Platform-AI versus door de gemeenschap gestuurde AI — Een structurele analyse

Het corpusprobleem

De bestuurskenmerken van een AI-systeem worden in belangrijke mate bepaald door het trainingscorpus. Dit is geen secundaire kwestie — het is een architectonisch kenmerk van de eerste orde. (Termen zoals corpus, fine-tuning en agent worden gedefinieerd in de woordenlijst.)

Commerciële LLM’s van grote platformaanbieders worden getraind op corpora op webschaal: miljarden documenten die van het open internet zijn verzameld, aangevuld met gelicentieerde datasets en eigen verzamelingen. De resulterende systemen hebben een breed scala aan mogelijkheden en gaan dienovereenkomstig uit van brede aannames over de verdeling van gegevens.

Het internet, als trainingscorpus, geeft een oververtegenwoordiging van bepaalde domeinen en perspectieven:

• Engelstalige inhoud, en binnen het Engels: Amerikaans taalgebruik en conventies
• Commerciële en marketinggerichte taalstijlen
• Een individualistische benadering van sociale en ethische vraagstukken
• Seculiere, therapeutische taal voor onderwerpen die traditioneel door gemeenschaps- of spirituele tradities worden behandeld
• Technisch en professioneel discours
• Inhoud die in de afgelopen twee decennia is geproduceerd, met beperkte historische diepgang

Daarentegen zijn de volgende aspecten ondervertegenwoordigd:

• Gemeenschappelijke besluitvormingstradities en bestuurspraktijken
• Domeinspecifieke professionele registers (liturgisch, ecologisch, inheems, coöperatief)
• Mondelinge tradities en culturen met een beperkte digitale aanwezigheid
• De operationele documentatie van kleine organisaties: notulen van vergaderingen, interne correspondentie, gemeenschapsbulletins
• Niet-westerse ethische en bestuurskaders

Deze onevenwichtige verdeling kan niet door schaalvergroting worden gecorrigeerd. Een groter webcorpus versterkt juist dezelfde vertekeningen. Het is een structureel kenmerk van de gegevensbron, geen steekproeffout.

Domeinspecifieke AI: het alternatief en de beperkingen ervan

Het Village-platform hanteert een andere architecturale benadering: een kleiner model, getraind op een gelaagde corpus die domeinspecifieke inhoud voorrang geeft boven breedte.

De trainingsarchitectuur bestaat uit drie lagen:

Platformlaag. Algemene operationele kennis die in alle implementaties wordt gedeeld — hoe het platform functioneert, welke functies beschikbaar zijn, navigatiehulp. Deze laag is vergelijkbaar met een gedeelde ontologie tussen verschillende instanties.

Communitylaag. Inhoud die specifiek is voor een bepaalde implementatie — de records, communicatie en documenten die zijn geproduceerd door de gemeenschap die de instantie beheert. Deze laag onderscheidt de ene implementatie van de andere en verankert de output van het model in de lokale context.

Toestemmingslaag. Een structurele beperking: er komt geen inhoud in het trainingscorpus terecht zonder expliciete, controleerbare toestemming van de maker van de inhoud. Dit wordt architectonisch afgedwongen, niet via beleid.

Het resulterende systeem is beperkter dan een commercieel LLM. Het kan niet op competente wijze discussiëren over onderwerpen buiten zijn trainingsdomein. Het zal geen creatieve teksten voor algemene doeleinden produceren of brede gesprekken voeren. Wat het in plaats daarvan biedt, zijn outputs die zijn gebaseerd op de verslagen van een specifieke gemeenschap en die aan de hand van die verslagen verifieerbaar zijn.

Beperkingen van deze aanpak

Er moet rekening worden gehouden met verschillende beperkingen:

Beperkte algemeenheid. Een domeinspecifiek model kan geen hulp bieden bij taken buiten zijn trainingsdomein. Leden van de gemeenschap die algemene AI-hulp nodig hebben, moeten een apart systeem gebruiken.

Beperkingen in de omvang van het corpus. Kleine gemeenschappen produceren beperkte inhoud. Een model dat is getraind op een paar honderd documenten heeft een navenant beperkte kennisbasis. De kwaliteit van de output wordt rechtstreeks beperkt door de omvang en kwaliteit van de inhoud van de gemeenschap.

Vertraging bij hertraining. De gemeenschapslaag vereist periodieke hertraining om nieuwe inhoud op te nemen. Tussen de hertrainingscycli door is de kennis van het model verouderd. De huidige frequentie van hertraining (wekelijks, volgens een vast schema) kan onvoldoende zijn voor snel veranderende contexten.

Kwetsbaarheid van de fijnafstemming. Domeinspecifieke fijnafstemming legt nieuwe patronen over de bestaande verdeling van een basismodel heen. Onder bepaalde zoekomstandigheden — met name bij nieuwe of complexe vragen — kunnen de patronen van het basismodel weer de overhand krijgen, een fenomeen dat in de literatuur bekendstaat als ‘catastrophic forgetting’. In hoeverre dit in de praktijk van invloed is op governance-relevante output, is voor dit systeem nog niet goed in kaart gebracht.

Guardian Agents: Architectuur voor externe verificatie

Het Village-platform vertrouwt niet uitsluitend op training om de kwaliteit van de output te waarborgen. Het plaatst een verificatielaag — genaamd „Guardian Agents“ — tussen de output van het model en de eindgebruiker.

De Guardian Agent-architectuur bestaat uit vier onafhankelijke verificatiemechanismen:

Verificatie van semantische onderbouwing. De output van het model wordt vergeleken met het documentcorpus van de gemeenschap aan de hand van op embeddings gebaseerde gelijkenismaten. Outputs die onvoldoende onderbouwing in daadwerkelijke documenten hebben, worden gemarkeerd of onderdrukt.

Ontleding op claimniveau. De output wordt ontleed in afzonderlijke claims, die elk afzonderlijk worden geverifieerd. Dit pakt de veelvoorkomende foutbron aan waarbij een antwoord een mengeling bevat van onderbouwde en niet-onderbouwde beweringen.

Monitoring van gedragsafwijkingen. Een longitudinale monitoringlaag volgt patronen in de output van het model in de loop van de tijd en detecteert systematische verschuivingen in toon, framing of nauwkeurigheid die kunnen duiden op een afwijking in de distributie of verslechtering.

Integratie van adaptieve feedback. Feedback van communityleden (zowel expliciete beoordelingen als correcties door moderators) wordt meegenomen in de verificatiedrempels. Dit creëert een feedbacklus waarbij het verificatiesysteem zich in de loop van de tijd steeds beter afstemt op de verwachtingen van de community.

Tegenargumenten en faalmodi

De Guardian Agent-architectuur is een bijdrage aan het onderzoek, geen opgelost probleem. Verschillende tegenargumenten en faalmodi verdienen nader onderzoek:

Semantische gelijkenis is geen waarheid. Op inbedding gebaseerde verificatie meet semantische nabijheid, niet feitelijke nauwkeurigheid. Een uitspraak die semantisch dicht bij een brondocument ligt, kan feitelijk nog steeds onjuist zijn — parafrases kunnen de betekenis omkeren terwijl de embedding-gelijkenis behouden blijft. De decompositielaag op claimniveau pakt dit gedeeltelijk aan, maar er blijven valse positieven en valse negatieven bestaan.

De verificatiedekking is onvolledig. De ‘guardians’ kunnen beweringen toetsen aan bestaande gegevens. Ze kunnen echter geen beweringen verifiëren over onderwerpen die niet in de gegevens van de gemeenschap zijn opgenomen. Bij nieuwe vragen staat het systeem voor de keuze tussen het weigeren van een antwoord (conservatief maar niet behulpzaam) en het genereren van niet-verifieerbare uitkomsten (behulpzaam maar onbeveiligd). De huidige implementatie markeert antwoorden met een lage betrouwbaarheid in plaats van ze te onderdrukken, waardoor de verificatielast wordt overgedragen aan de eindgebruiker.

Feedbacklussen kunnen vertekening veroorzaken. Het adaptieve feedbackmechanisme gaat ervan uit dat feedback van de gemeenschap een betrouwbaar signaal is. In de praktijk kan feedback schaars zijn, vertekend ten gunste van bepaalde gebruikersgroepen, of voorkeuren weerspiegelen die in strijd zijn met de nauwkeurigheid. Het systeem maakt momenteel geen onderscheid tussen feedback die feitelijke fouten corrigeert en feedback die esthetische of ideologische voorkeuren weerspiegelt.

Rekenkundige overhead. Verificatie in vier lagen zorgt voor extra vertraging en rekenkosten. Bij tijdgevoelige zoekopdrachten kan deze overhead de gebruikerservaring zodanig verslechteren dat het systeem niet meer wordt gebruikt — een falen van het beheer door gebrek aan acceptatie in plaats van door een technische fout.

Delegatie en de locus van controle

De voorgaande analyse betreft het corpus — waarvan het systeem de patronen overneemt. De ‘agentische wending’ (artikel 1) introduceert een tweede, orthogonale as: de locus van controle zodra het systeem handelt in plaats van louter advies te geven. Het delegeren van een taak aan een commerciële agent houdt niet alleen de overdracht van gegevens in, maar ook van operationele bevoegdheid — het vermogen om acties te ondernemen (transacties, communicatie, wijzigingen in gegevens) op infrastructuur waarover de inzetpartij geen controle heeft, waarbij de interventiepunten door de aanbieder worden bepaald. In recente commentaren wordt dit gekarakteriseerd als een probleem van verantwoordingsplicht en gegevensprivacy, vermomd als een vraag over AI-capaciteiten. Het door de gemeenschap bestuurde alternatief schaft delegatie niet af; het legt er grenzen aan. Acties blijven beperkt tot de eigen grenzen van de gemeenschap, zijn beperkt tot omkeerbare bewerkingen en worden gereguleerd door het mechanisme voor grenshandhaving (artikel 3), zodat ingrijpende of onomkeerbare acties menselijke autorisatie vereisen. De architectonische stelling is niet dat de agent capabeler is, maar dat de plaats van controle controleerbaar en herstelbaar blijft — een eigenschap die loodrecht staat op ruwe capaciteit en, in deze analyse, daar aan voorafgaat.

De afweging: een analytisch kader

De keuze tussen commerciële AI en door de gemeenschap bestuurde AI is geen keuze tussen een goede en een slechte optie. Het is een keuze tussen verschillende afwegingsprofielen:

Geen van beide profielen is categorisch superieur. De juiste keuze hangt af van de bestuursprioriteiten van de gemeenschap die het systeem implementeert — een punt dat op zichzelf al een bestuursbeslissing vormt.

Repliceerbaarheid en generaliseerbaarheid

Een vraag die voor de onderzoeksgemeenschap van bijzonder belang is, is of de Village-architectuur repliceerbaar en generaliseerbaar is buiten de huidige implementatiecontext.

Het platform is ontworpen voor multi-tenant-gebruik binnen diverse soorten gemeenschappen (de huidige implementatie ondersteunt negen producttypes, variërend van parochies tot natuurbeschermingsgroepen tot alumniverenigingen). Het vocabulaire-systeem past de terminologie aan de context van de gemeenschap aan, wat wijst op een zekere mate van generaliseerbaarheid in de platformlaag.

Er zijn echter verschillende factoren die het moeilijk maken om met zekerheid uitspraken te doen over de generaliseerbaarheid:

• Het systeem is bij een klein aantal gemeenschappen geïmplementeerd. De bewijsbasis voor de effectiviteit in verschillende contexten is beperkt.
• De Guardian Agent-drempels zijn afgestemd op specifieke inhoudstypen. Of ze generaliseerbaar zijn naar gemeenschappen met fundamenteel andere inhoudsstructuren, is nog niet getest.
• De toestemmingsarchitectuur gaat uit van een lidmaatschapsmodel met geauthenticeerde toegang. Gemeenschappen met andere toegangsmodellen (open toegang, anonieme bijdragen) zouden architecturale aanpassingen vereisen.

Dit zijn open onderzoeksvragen, geen definitieve ontwerpbeslissingen.

Zie voor de volledige Guardian Agents-architectuur Village AI on Agentic Governance. De hier aan de orde gestelde vragen over delegatie en controlebevoegdheid worden vanuit het standpunt van de praktijkbeoefenaar behandeld in de bijbehorende cursus Agents at Work; Working with Claude behandelt de beoordeling van modeloutputs.