Alle Ausgaben · Academia Edition

Your Community, Your AI — CC BY 4.0

Ein Produktionssystem unter der Lupe – Was heute im Einsatz ist

Umfang und Zielsetzung

Dieser Artikel bietet einen Überblick darüber, was derzeit auf der Village-Plattform im Einsatz ist, was sich noch in der Entwicklung befindet und wo die Kluft zwischen architektonischer Absicht und betrieblicher Realität am größten ist. Er wurde in dem Bewusstsein verfasst, dass ein wissenschaftliches Publikum Offenheit hinsichtlich der Systemreife erwartet – was funktioniert, was noch nicht funktioniert und was noch nicht getestet wurde. (Die in dieser Artikelserie verwendeten Begriffe sind im Glossar definiert.)

Die Plattform ist seit 2025 im Einsatz. Sie bedient eine kleine Anzahl von Communities. Die Einsatzbasis reicht für statistische Aussagen zur Wirksamkeit nicht aus, und dieser Artikel erhebt keinen solchen Anspruch.

Operative Funktionen

Die folgenden Funktionen sind zum Zeitpunkt der Erstellung dieses Artikels implementiert und betriebsbereit:

Inhaltsbasierte Beantwortung von Anfragen

Das KI-Subsystem beantwortet Anfragen von Mitgliedern, indem es Informationen aus dem eigenen Dokumentenkorpus der Gemeinschaft – Ankündigungen, gemeinsame Erzählungen, Veranstaltungsaufzeichnungen, Organisationsdokumente – abruft und zusammenfasst. Die Antworten werden vor der Übermittlung durch die Guardian Agent-Ebene anhand des Korpus überprüft.

Was funktioniert: Bei Anfragen, die sich direkt auf dokumentierte Inhalte beziehen („Wann findet das nächste Treffen statt?“, „Was wurde bezüglich des Baufonds beschlossen?“), liefert das System fundierte, überprüfbare Antworten. Die semantische Verankerungsebene identifiziert in den meisten beobachteten Fällen relevante Quelldokumente korrekt.

Was nicht zuverlässig funktioniert: Bei Anfragen, die Schlussfolgerungen über mehrere Dokumente hinweg erfordern oder Themen betreffen, die in den Aufzeichnungen der Community nur spärlich abgedeckt sind, verschlechtert sich die Qualität der Ausgabe. Das System kann plausible, aber unbegründete Antworten liefern, die mit Indikatoren für geringe Zuverlässigkeit gekennzeichnet sind, auf die nicht alle Nutzer achten.

Was noch nicht getestet wurde: Die Leistung des Systems bei adversarischen Abfragen – also gezielten Versuchen, unbegründete oder unangemessene Ergebnisse zu erzwingen – wurde noch nicht systematisch evaluiert. Informelle Tests deuten darauf hin, dass die Ebene zur Durchsetzung von Grenzen viele adversarische Muster abfängt, doch eine formale Red-Team-Bewertung wurde noch nicht durchgeführt.

Unterstützung beim Verfassen von Entwürfen

Die KI unterstützt das Verfassen von Mitteilungen der Community – Ankündigungen, Rundschreiben, Korrespondenz. Entwürfe werden auf der Grundlage der bestehenden Inhaltsmuster der Community generiert und vor der Verbreitung einer Überprüfung durch Moderatoren unterzogen.

Einschränkung: Die Qualität der Entwürfe des Systems wird direkt durch den Umfang und die Qualität der vorhandenen Inhalte der Community begrenzt. Bei Communities mit spärlichen Aufzeichnungen neigen die Entwürfe dazu, auf die Verteilungsstandardwerte des Basismodells zurückzufallen – genau der Fehlermodus, den die Architektur verhindern soll. Die Abhilfemaßnahme (Überprüfung durch Moderatoren) ist wirksam, führt jedoch zu einem menschlichen Engpass.

Zusammenfassung von Dokumenten

Lange Dokumente und Sammlungen von Ankündigungen können zusammengefasst werden. Diese Funktion ist unkompliziert und wird von der aktuellen LLM-Technologie gut unterstützt.

Mehrsprachige Unterstützung

Die Plattform unterstützt fünf Sprachen: Englisch, Deutsch, Französisch, Niederländisch und Te Reo Māori. Die Übersetzung erfolgt über einen speziellen Übersetzungsdienst (DeepL) und nicht über das LLM. Diese architektonische Entscheidung – die Trennung von Übersetzung und Generierung – vermeidet den bekannten Fehlermodus von LLM-generierten Übersetzungen, bei denen die Bedeutung verändert wird, während die Sprachflüssigkeit erhalten bleibt.

Feedback-Triage

Das Feedback der Mitglieder wird automatisch klassifiziert, soweit möglich untersucht und an die zuständigen menschlichen Bearbeiter weitergeleitet. Das Triage-System nutzt eine Klassifizierung nach Grundursachen, um Muster im Feedback zu identifizieren und systemische Probleme zu eskalieren.

Dieses Subsystem ist das deutlichste Beispiel für begrenztes agentisches Handeln auf der Plattform. Bei routinemäßigen Fällen mit geringem Risiko klassifiziert der Ausführende nicht nur, sondern löst das Problem auch – indem er die richtige Antwort anhand des Korpus überprüft und die Wissensbasis autonom aktualisiert –, während ein erkanntes Muster verwandter Fehler zur menschlichen Beurteilung eskaliert und nicht selbstständig bearbeitet wird. Der Agent handelt dort, wo der Vorgang reversibel ist und sich auf die Grenzen der Community beschränkt, und sieht davon ab, wo dies nicht der Fall ist. Dies ist eine bewusst eng gefasste Umsetzung von Handlungsfähigkeit: Sie verkörpert das Prinzip der Durchsetzung von Grenzen (Artikel 3) und nicht die uneingeschränkte Autonomie, die für kommerzielle Browser- oder Computer-Agenten charakteristisch ist.

Was funktioniert: Routinemäßiges Feedback (Funktionswünsche, Navigationsfragen, Inhaltsanfragen) wird in den meisten beobachteten Fällen korrekt klassifiziert und bearbeitet.

Was nicht zuverlässig funktioniert: Rückmeldungen, die nuancierte zwischenmenschliche Kontexte oder gemeinschaftsspezifische kulturelle Bezüge beinhalten, werden manchmal falsch klassifiziert. Die Fehlerquote des Systems bei kulturell sensiblen Rückmeldungen wurde nicht formal gemessen.

Das Vokabularsystem: Sprachliche Rahmung als Steuerung

Die Plattform implementiert ein Vokabularsystem, das die gesamte benutzerseitige Terminologie an den Community-Typ anpasst. Eine Forschungsgruppe sieht „Forschungsgruppe“ und „Mitarbeiter“; ein Naturschutzverein sieht „Mitglieder“ und „Naturschutzprojekte“; eine Kirchengemeinde sieht „Gemeindemitglieder“ und „Kirchenvorstand“.

Dies ist keine rein kosmetische Funktion. Das Vokabular prägt den Bezugsrahmen der KI für die Interpretation von Anfragen und die Generierung von Antworten. Wenn das System eine Anfrage im Kontext eines Vokabulars verarbeitet, das „Mitarbeiter“ anstelle von „Nutzer“ verwendet, verschiebt sich die Verteilung der Antworten hin zu einem kollaborativen und gemeinschaftlichen Rahmen.

Forschungsinteresse: Das Vokabularsystem bietet ein natürliches Experiment dazu, wie sich sprachliche Rahmung auf die Verteilung der KI-Ausgaben auswirkt. Ein systematischer Vergleich der Ausgaben über verschiedene Vokabularkonfigurationen hinweg – bei konstanter Abfrage und variierendem Vokabular – würde die Hypothese überprüfen, dass terminologische Änderungen auf der Oberflächenebene zu substanziellen Unterschieden in der Rahmung der Ausgaben führen. Dieses Experiment wurde noch nicht durchgeführt, ist aber mit der bestehenden Infrastruktur durchführbar.

Einschränkung: Das Vokabularsystem arbeitet auf der Ebene der Terminologie, nicht auf der Ebene des konzeptuellen Rahmens. Die Änderung von „Nutzer“ zu „Mitarbeiter“ verschiebt zwar die Verteilungsoberfläche, verändert jedoch möglicherweise nicht die tiefer liegenden strukturellen Annahmen, die im Basismodell verankert sind. Inwieweit das Vokabularsystem die Ausgabequalität beeinflusst, ist eine offene Frage.

Guardian Agent-Leistung

Die vier Guardian Agent-Ebenen sind implementiert und betriebsbereit. Ihre Leistungsmerkmale, soweit derzeit beobachtbar:

Semantische Verankerung (Guardian 1): Identifiziert relevante Quelldokumente bei einfachen Abfragen korrekt. Die Leistung verschlechtert sich bei Inferenzvorgängen mit mehreren Dokumenten sowie bei Abfragen, die implizites Wissen erfordern, das in den Quelldokumenten nicht direkt angegeben ist.

Aufschlüsselung von Aussagen (Guardian 2): Isoliert erfolgreich einzelne Aussagen in strukturierten Antworten. Weniger effektiv bei Antworten, die Aussagen in komplexe syntaktische Strukturen einbetten oder Aussagen implizit durch Framing statt durch explizite Aussagen ausdrücken.

Driftüberwachung (Guardian 3): Betriebsbereit, jedoch ist der Einsatzzeitraum zu kurz, um eine aussagekräftige langfristige Drift festgestellt zu haben. Das System verfügt über Basiswerte; ob es allmähliche Verschiebungen der Verteilung über Monate oder Jahre hinweg erkennen kann, ist noch nicht getestet.

Adaptives Feedback (Guardian 4): Bezieht das Feedback von Mitgliedern und Moderatoren in die Verifizierungsschwellenwerte ein. Das Feedback-Volumen aus der aktuellen Einsatzbasis ist gering, was die Fähigkeit des Systems einschränkt, gemeinschaftsspezifische Muster zu erlernen. Dies ist ein Bootstrapping-Problem: Das System verbessert sich durch Feedback, aber Gemeinschaften in der Anfangsphase liefern nicht genügend Feedback, damit sich das System wesentlich verbessern kann.

Was sich noch in der Entwicklung befindet

Die folgenden Komponenten sind konzipiert, aber noch nicht voll funktionsfähig:

Optimierung der Modellzuordnung. Das System arbeitet mit zwei Modellebenen – einem schnelleren, kleineren Modell für Routineabfragen und einem größeren Modell für komplexe Schlussfolgerungsaufgaben. Die Zuordnungslogik, die bestimmt, welche Abfragen an welches Modell weitergeleitet werden, ist funktionsfähig, aber noch nicht optimiert. Einige Abfragen, die von einer tiefergehenden Verarbeitung profitieren würden, werden derzeit vom schnelleren Modell bearbeitet, was zu Antworten von geringerer Qualität führt.

Individuelle Personalisierung. Das System arbeitet derzeit auf Community-Ebene – es kennt die Inhalte der Community, modelliert jedoch keine individuellen Präferenzen oder Interaktionsmuster der Mitglieder. Eine Personalisierung auf individueller Ebene ist geplant, wirft jedoch zusätzliche Fragen zur Governance auf (Einwilligung, Profiling, Filterblasen), die noch nicht geklärt sind.

Schulung und Zertifizierung von Moderatoren. Die Governance-Architektur setzt kompetente Moderatoren voraus, die KI-Ergebnisse überprüfen und korrigierendes Feedback geben können. Ein strukturiertes Schulungsprogramm für Moderatoren wurde konzipiert, befindet sich jedoch noch in einem frühen Stadium der Umsetzung. Die Qualität der Governance hängt direkt von der Kompetenz der Moderatoren ab, die derzeit schwankt.

In der Praxis beobachtete Fehlermodi

Transparenz hinsichtlich beobachteter Fehler ist ein notwendiger Bestandteil jeder glaubwürdigen Systembeschreibung:

Sichere Generierung unbegründeter Behauptungen. Das System erzeugt gelegentlich Antworten, die autoritär klingen, aber nicht durch die Aufzeichnungen der Community gestützt werden. Die Guardian Agent-Ebene fängt viele davon ab, jedoch nicht alle – insbesondere wenn die unbegründete Behauptung semantisch dem tatsächlichen Inhalt ähnelt.

Vokabular-Überschneidungen. Bei komplexen Abfragen überschreibt das unternehmensspezifische Standardvokabular des Basismodells manchmal das gemeinschaftsspezifische Vokabular. Dies ist das in Artikel 1 beschriebene Problem der Verteilungsdrift, das durch das Vokabularsystem teilweise gemildert, aber nicht beseitigt wird.

Mangelndes Feedback. Communities in frühen Einführungsphasen generieren nicht genügend Feedback, damit die adaptiven Lernmechanismen effektiv funktionieren können. Dies führt zu einem Kaltstartproblem, bei dem das System gerade dann am schlechtesten kalibriert ist, wenn die Community am dringendsten auf seine Zuverlässigkeit angewiesen ist.

Erschöpfung der Moderatoren. Die Governance-Architektur bürdet ehrenamtlichen Moderatoren eine erhebliche Überprüfungslast auf. In Communities, in denen die Moderatorenrolle personell unterbesetzt ist, sinkt die Qualität der Überprüfungen, was die Wirksamkeit der „Human-in-the-Loop“-Governance-Ebene mindert.

Was dies für die Forschung bedeutet

Die „Village“-Plattform ist in ihrem derzeitigen Zustand ein funktionierender Prototyp für KI-Governance auf Community-Ebene. Es handelt sich nicht um ein ausgereiftes, validiertes System. Die architektonischen Prinzipien sind zwar umgesetzt, doch die empirischen Belege für ihre Wirksamkeit sind vorläufig.

Für Forscher stellt dies sowohl eine Einschränkung als auch eine Chance dar. Die Einschränkung besteht darin, dass Behauptungen über die Governance-Effektivität des Frameworks noch nicht durch strenge Beweise untermauert werden können. Die Chance besteht darin, dass die Plattform eine Live-Forschungsumgebung bietet – ein operatives System mit instrumentierten Governance-Ebenen, das in verschiedenen Community-Typen eingesetzt wird –, in der Hypothesen zur KI-Governance empirisch getestet werden können.

Die Autoren begrüßen die Zusammenarbeit mit Forschern, die daran interessiert sind, die Aussagen des Frameworks zu evaluieren. Der Quellcode ist Open Source, die Governance-Protokolle stehen Community-Moderatoren zur Verfügung, und die Architektur ist so konzipiert, dass sie die Art der Instrumentierung unterstützt, die für empirische Governance-Forschung erforderlich ist.

Die vollständige technische Architektur finden Sie unter Village AI on Agentic Governance. Leser, die prüfen möchten, was sicher an ein System delegiert werden kann, das handelt – im Gegensatz zu einem System, das lediglich antwortet –, finden möglicherweise die begleitenden Kurse nützlich: Working with Claude und Agents at Work.