Alle edities · Academia Edition

Your Community, Your AI — CC BY 4.0

Een productiesysteem onder de loep — Wat er vandaag de dag in gebruik is

Reikwijdte en doel

Dit artikel geeft een overzicht van wat er momenteel in het Village-platform in gebruik is, wat nog in ontwikkeling is en waar de kloof tussen de architectonische intentie en de operationele realiteit het grootst is. Het is geschreven vanuit het besef dat een onderzoekspubliek openheid nodig heeft over de volwassenheid van het systeem — wat werkt, wat nog niet werkt en wat nog niet is getest. (Termen die in de hele serie worden gebruikt, worden gedefinieerd in de woordenlijst.)

Het platform is sinds 2025 in productie. Het bedient een klein aantal gemeenschappen. De implementatiebasis is onvoldoende voor statistische uitspraken over de effectiviteit, en dit artikel doet dergelijke uitspraken dan ook niet.

Operationele mogelijkheden

De volgende mogelijkheden zijn op het moment van schrijven geïmplementeerd en operationeel:

Op inhoud gebaseerde beantwoording van vragen

Het AI-subsysteem beantwoordt vragen van leden door informatie uit het eigen documentcorpus van de gemeenschap op te halen en te synthetiseren — aankondigingen, gedeelde verhalen, verslagen van evenementen, organisatorische documenten. Antwoorden worden vóór verzending door de Guardian Agent-laag getoetst aan het corpus.

Wat werkt: Bij vragen die rechtstreeks betrekking hebben op gedocumenteerde inhoud („Wanneer is de volgende vergadering?”, „Wat is er besloten over het bouwfonds?”), produceert het systeem onderbouwde, verifieerbare antwoorden. De semantische onderbouwingslaag identificeert in de meeste waargenomen gevallen de relevante brondocumenten correct.

Wat niet betrouwbaar werkt: Bij vragen die gevolgtrekkingen uit meerdere documenten vereisen, of die betrekking hebben op onderwerpen die slechts sporadisch in de verslagen van de gemeenschap aan bod komen, neemt de kwaliteit van de output af. Het systeem kan plausibele maar ongefundeerde antwoorden genereren, gemarkeerd met indicatoren voor een laag betrouwbaarheidsniveau waar niet alle gebruikers aandacht aan besteden.

Wat nog niet is getest: De prestaties van het systeem bij vijandige zoekopdrachten — opzettelijke pogingen om ongefundeerde of ongepaste resultaten te verkrijgen — zijn nog niet systematisch geëvalueerd. Uit informele tests blijkt dat de grenshandhavingslaag veel vijandige patronen opvangt, maar er is nog geen formele red-team-beoordeling uitgevoerd.

Hulp bij het opstellen van teksten

De AI helpt bij het opstellen van communicatie voor de gemeenschap — aankondigingen, mededelingen, correspondentie. Concepten worden gegenereerd op basis van de bestaande inhoudspatronen van de gemeenschap en worden vóór verspreiding door een moderator beoordeeld.

Beperking: De kwaliteit van de door het systeem opgestelde concepten wordt rechtstreeks beperkt door de omvang en kwaliteit van de bestaande inhoud van de gemeenschap. Bij gemeenschappen met weinig gegevens neigen concepten ertoe terug te vallen op de standaarddistributies van het basismodel — precies de faalmodus die de architectuur juist moet voorkomen. De mitigerende maatregel (beoordeling door een moderator) is effectief, maar zorgt voor een menselijke bottleneck.

Samenvatting van documenten

Lange documenten en verzamelingen van aankondigingen kunnen worden samengevat. Deze functionaliteit is eenvoudig en wordt goed ondersteund door de huidige LLM-technologie.

Meertalige ondersteuning

Het platform ondersteunt vijf talen: Engels, Duits, Frans, Nederlands en Te Reo Māori. Vertalingen worden afgehandeld door een gespecialiseerde vertaaldienst (DeepL), niet door het LLM. Deze architecturale keuze — het scheiden van vertaling en generatie — voorkomt de bekende foutmodus van door LLM gegenereerde vertalingen die de betekenis veranderen terwijl de vloeiendheid behouden blijft.

Triage van feedback

Feedback van leden wordt automatisch geclassificeerd, waar mogelijk onderzocht en doorgestuurd naar de juiste menselijke behandelaars. Het triagesysteem maakt gebruik van classificatie op basis van de onderliggende oorzaak om patronen in de feedback te identificeren en systeemgebonden problemen te escaleren.

Dit subsysteem is het duidelijkste voorbeeld van bounded agentic action dat op het platform is geïmplementeerd. Bij routinematige, minder kritieke gevallen classificeert de uitvoerder niet alleen, maar lost hij het probleem ook op — door het juiste antwoord te toetsen aan het corpus en de kennisbank autonoom bij te werken — terwijl een gedetecteerd patroon van gerelateerde fouten wordt geëscaleerd voor menselijke beoordeling in plaats van dat er direct actie op wordt ondernomen. De agent grijpt in wanneer de handeling omkeerbaar is en binnen de grenzen van de gemeenschap blijft, en ziet ervan af wanneer dat niet het geval is. Dit is een bewust beperkte invulling van handelingsbevoegdheid: het geeft invulling aan het principe van grenshandhaving (artikel 3) in plaats van de onbeperkte autonomie die kenmerkend is voor commerciële agents voor browser- of computergebruik.

Wat werkt: Routinematige feedback (verzoeken om functies, navigatievragen, inhoudsvragen) wordt in de meeste waargenomen gevallen correct geclassificeerd en afgehandeld.

Wat niet betrouwbaar werkt: Feedback die genuanceerde interpersoonlijke context of gemeenschapsspecifieke culturele verwijzingen bevat, wordt soms verkeerd geclassificeerd. Het foutenpercentage van het systeem voor cultureel gevoelige feedback is niet formeel gemeten.

Het vocabulaire-systeem: taalkundige kadering als bestuursvorm

Het platform implementeert een vocabulaire-systeem dat alle naar de gebruiker gerichte terminologie aanpast aan het type gemeenschap. Een onderzoeksgroep ziet „onderzoeksgroep“ en „medewerkers“; een natuurbeschermingsvereniging ziet „leden“ en „natuurbeschermingsprojecten“; een parochie ziet „parochianen“ en „bestuur van de kerkraad“.

Dit is geen louter cosmetische functie. De woordenschat bepaalt het referentiekader van de AI voor het interpreteren van zoekopdrachten en het genereren van antwoorden. Wanneer het systeem een zoekopdracht verwerkt in de context van een woordenschat die ‘medewerkers’ gebruikt in plaats van ‘gebruikers’, verschuift de verdeling van de antwoorden in de richting van een op samenwerking en gemeenschap gerichte invalshoek.

Onderzoeksinteresse: Het vocabulaire-systeem biedt een natuurlijk experiment om te onderzoeken hoe taalkundige kadering de distributie van AI-uitkomsten beïnvloedt. Een systematische vergelijking van uitkomsten bij verschillende vocabulaire-configuraties — waarbij de zoekopdracht constant wordt gehouden terwijl het vocabulaire wordt gevarieerd — zou de hypothese toetsen dat terminologische veranderingen op oppervlakteniveau doorwerken in substantiële verschillen in de kadering van de uitkomsten. Dit experiment is nog niet uitgevoerd, maar is haalbaar met de bestaande infrastructuur.

Beperking: Het vocabulaire-systeem werkt op het niveau van terminologie, niet op het niveau van het conceptuele kader. Het vervangen van ‘gebruikers’ door ‘medewerkers’ verschuift de oppervlakkige verdeling, maar verandert mogelijk niets aan diepere structurele aannames die in het basismodel zijn ingebed. De mate waarin het vocabulaire-systeem de kwaliteit van de output beïnvloedt, is een open vraag.

Prestaties van Guardian Agent

De vier Guardian Agent-lagen zijn geïmplementeerd en operationeel. Hun prestatiekenmerken, voor zover momenteel waarneembaar:

Semantische onderbouwing (Guardian 1): Identificeert correct relevante brondocumenten voor eenvoudige zoekopdrachten. De prestaties verslechteren bij inferenties op basis van meerdere documenten en bij zoekopdrachten die impliciete kennis vereisen die niet direct in de brondocumenten wordt vermeld.

Ontleding van beweringen (Guardian 2): Slaagt erin individuele beweringen in gestructureerde antwoorden te isoleren. Minder effectief voor antwoorden waarin beweringen zijn ingebed in complexe syntactische structuren of waarin beweringen impliciet worden uitgedrukt door middel van framing in plaats van een expliciete uitspraak.

Driftmonitoring (Guardian 3): Operationeel, maar de implementatieperiode is te kort om een betekenisvolle longitudinale drift te hebben gedetecteerd. Het systeem beschikt over basislijnmetingen; of het geleidelijke verschuivingen in de verdeling over maanden of jaren kan detecteren, is nog niet getest.

Adaptieve feedback (Guardian 4): Verwerkt feedback van leden en moderatoren in verificatiedrempels. Het feedbackvolume vanuit de huidige implementatiebasis is laag, wat het vermogen van het systeem om gemeenschapsspecifieke patronen te leren beperkt. Dit is een bootstrapping-probleem: het systeem verbetert met feedback, maar gemeenschappen in een vroeg stadium leveren onvoldoende feedback om het systeem substantieel te laten verbeteren.

Wat nog in ontwikkeling is

De volgende componenten zijn ontworpen maar nog niet volledig operationeel:

Optimalisatie van modelroutering. Het systeem werkt met twee modelniveaus: een sneller, kleiner model voor routinematige zoekopdrachten en een groter model voor complexe redeneringstaken. De routeringslogica die bepaalt welke zoekopdrachten naar welk model gaan, is functioneel maar nog niet geoptimaliseerd. Sommige zoekopdrachten die baat zouden hebben bij een grondigere verwerking, worden momenteel door het snellere model afgehandeld, wat resulteert in antwoorden van mindere kwaliteit.

Individuele personalisatie. Het systeem werkt momenteel op gemeenschapsniveau — het kent de inhoud van de gemeenschap, maar modelleert geen individuele voorkeuren of interactiepatronen van leden. Personalisatie op individueel niveau is gepland, maar roept aanvullende governancekwesties op (toestemming, profilering, filterbubbels) die nog niet zijn opgelost.

Opleiding en accreditatie van moderators. De governancearchitectuur gaat uit van bekwame moderators die AI-output kunnen beoordelen en corrigerende feedback kunnen geven. Er is een gestructureerd opleidingsprogramma voor moderatoren ontworpen, maar dit bevindt zich nog in een vroeg stadium van implementatie. De kwaliteit van het beheer is rechtstreeks afhankelijk van de competentie van de moderatoren, die momenteel wisselend is.

In de praktijk waargenomen storingsmodi

Transparantie over waargenomen storingen is een noodzakelijk onderdeel van elke geloofwaardige systeembeschrijving:

Zelfverzekerd genereren van ongefundeerde beweringen. Het systeem produceert af en toe antwoorden die gezaghebbend klinken, maar niet worden ondersteund door de gegevens van de gemeenschap. De Guardian Agent-laag vangt veel van deze gevallen op, maar niet allemaal — met name wanneer de ongefundeerde bewering semantisch vergelijkbaar is met daadwerkelijke inhoud.

Doorlekken van woordenschat. Bij complexe zoekopdrachten overschrijft de standaardwoordenschat van het basismodel soms de gemeenschapsspecifieke woordenschat. Dit is het in artikel 1 beschreven probleem van distributieve afwijking, dat gedeeltelijk wordt gemitigeerd maar niet volledig wordt geëlimineerd door het woordenschatsysteem.

Gebrek aan feedback. Gemeenschappen in de vroege stadia van invoering genereren onvoldoende feedback om de adaptieve leermchanismen effectief te laten functioneren. Dit leidt tot een ‘cold-start’-probleem, waarbij het systeem juist op het moment dat de gemeenschap het meest behoefte heeft aan betrouwbaarheid, het minst goed gekalibreerd is.

Vermoeidheid bij moderatoren. De bestuursarchitectuur legt een aanzienlijke beoordelingslast op de schouders van vrijwillige moderatoren. In gemeenschappen waar de rol van moderator onvoldoende wordt ondersteund, neemt de kwaliteit van de beoordelingen af, waardoor de effectiviteit van de ‘human-in-the-loop’-bestuurslaag afneemt.

Wat dit betekent voor onderzoek

Het Village-platform is, in zijn huidige staat, een functionerend prototype van AI-governance op gemeenschapsniveau. Het is geen volwassen, gevalideerd systeem. De architecturale principes zijn geïmplementeerd, maar het empirisch bewijs voor hun effectiviteit is voorlopig.

Voor onderzoekers betekent dit zowel een beperking als een kans. De beperking is dat beweringen over de effectiviteit van het bestuurskader nog niet met rigoureus bewijs kunnen worden onderbouwd. De kans is dat het platform een live onderzoeksomgeving biedt — een operationeel systeem met geïnstrumenteerde bestuurslagen, geïmplementeerd in meerdere soorten gemeenschappen — waar hypothesen over AI-bestuur empirisch kunnen worden getoetst.

De auteurs staan open voor samenwerking met onderzoekers die geïnteresseerd zijn in het evalueren van de beweringen over het raamwerk. De codebase is open-source, de governance-logs zijn beschikbaar voor community-moderators en de architectuur is ontworpen om het soort instrumentatie te ondersteunen dat empirisch governance-onderzoek vereist.

Zie voor de volledige technische architectuur Village AI on Agentic Governance. Lezers die willen beoordelen wat veilig kan worden gedelegeerd aan een systeem dat handelt — in tegenstelling tot een systeem dat alleen maar antwoorden geeft — kunnen wellicht baat hebben bij de bijbehorende cursussen: Working with Claude en Agents at Work.