Alle Ausgaben · Academia Edition

Your Community, Your AI — CC BY 4.0

Was KI ist, was sie nicht ist und was noch ungewiss bleibt

Statistische Vorhersage in großem Maßstab

Der Kernmechanismus moderner großer Sprachmodelle (LLMs) ist die Vorhersage des nächsten Tokens. Ausgehend von einer Folge von Tokens generiert das Modell eine Wahrscheinlichkeitsverteilung über mögliche Fortsetzungen, gestützt auf Muster, die aus einem Trainingskorpus beträchtlicher Größe extrahiert wurden – typischerweise Milliarden von Dokumenten, die mehrere Domänen, Sprachen und Register umfassen.

Dieser Mechanismus liefert Ergebnisse, die häufig nützlich sind: kohärente Prosa, kompetente Zusammenfassungen, plausible Antworten auf Sachfragen und funktionsfähiger Code. Der praktische Nutzen steht außer Frage.

Umstritten – und für die Governance von Bedeutung – ist hingegen die Art des Prozesses, der diese Ergebnisse hervorbringt, und folglich die Frage, inwieweit man ihnen vertrauen kann.

Von Modellen zu Agenten: Leistungsfähigkeit versus Produktisierung

Eine Entwicklung zwischen 2024 und 2026 hat den Gegenstand der Governance vom Modell auf den Agenten verlagert. Diese Unterscheidung ist analytisch wichtig. Das Modell (oder die Engine) ist der oben beschriebene Prädiktor für das nächste Token. Ein Agent ist jenes Modell, das in eine Infrastruktur eingebettet ist – persistenter Speicher, Zugriff auf Tools und APIs, ein Webbrowser oder eine Computerschnittstelle – und auf ein in natürlicher Sprache ausgedrücktes Ziel ausgerichtet ist, das er in mehreren Schritten mit reduzierter menschlicher Aufsicht verfolgt. (Diese Begriffe sowie weitere, die in der gesamten Reihe verwendet werden, sind im Glossar definiert.) Der KI-Agenten-Index 2025 charakterisiert dies als eine Trennung von Fähigkeit (Spitzenmodelle) und Produktisierung (die agentische Infrastruktur um sie herum): Ein Großteil des offensichtlichen Sprungs in dem, was KI tun kann – im Gegensatz zu dem, was sie sagen kann –, ist eher auf die Hülle als auf eine neue Modellarchitektur zurückzuführen.

Diese Verschiebung verändert das Steuerungsobjekt in mehr als nur quantitativer Hinsicht. Die Ausgaben eines Chatbots verursachen nur dann Schaden, wenn ein Mensch darauf reagiert; ein Agent kann direkt auf die Welt einwirken, mit weniger Interventionspunkten. In der Fachliteratur hat man begonnen, die daraus resultierenden Probleme der Rechenschaftspflicht zu formalisieren – die Verantwortungslücke (Matthias, 2004), bei der Betreiber nicht vernünftigerweise für das Verhalten von Systemen verantwortlich gemacht werden können, deren Handlungen sie nicht bestimmt haben, sowie die moralische Deformationszone (Elish, 2019), in der die Haftung trotz begrenzter Kontrolle auf den nächstgelegenen Menschen fällt. Der International AI Safety Report 2026 stellt ferner fest, dass Agenten gerade deshalb erhöhte Zuverlässigkeitsrisiken bergen, weil sie autonom handeln, und dass sich Fehler in Multi-Agenten-Konfigurationen ausbreiten und verstärken können. Für die Governance-Forschung ist der entscheidende Punkt, dass Autonomie den Schwerpunkt des Risikos von der Interpretation der Ergebnisse auf die Ausführung von Handlungen verlagert – eine Verlagerung, der eine politikbasierte Governance, die auf die Überprüfung von Ergebnissen ausgerichtet ist, nur unzureichend gerecht werden kann.

Die Frage nach dem Schlussfolgern: Ein offenes empirisches Problem

Frühe Charakterisierungen von LLMs als „stochastische Papageien“ – Systeme, die statistische Regelmäßigkeiten ohne jegliches Verständnis reproduzieren – haben einen wichtigen Aspekt der technologischen Grundlagen erfasst. Mit zunehmender Modellgröße sind jedoch Verhaltensweisen aufgetreten, die sich einer einfachen Charakterisierung entziehen.

Große Modelle zeigen die Fähigkeit zu mehrstufigen logischen Schlussfolgerungen, zu domänenübergreifendem analogem Denken und zur Lösung neuartiger Probleme, die sich strukturell von den Trainingsbeispielen unterscheiden. Einige Forscher beschreiben diese als emergente Fähigkeiten – Eigenschaften, die bei großem Maßstab entstehen, ohne explizit entwickelt worden zu sein. Andere argumentieren, dass das scheinbare Schlussfolgern eine ausgefeilte Form der Musterinterpolation ist, die lediglich dem Schlussfolgern ähnelt, wenn sie von menschlichen Beobachtern bewertet wird, die dazu neigen, Verständnis zuzuschreiben.

Die empirischen Belege reichen derzeit nicht aus, um diese Frage zu klären. Mehrere Beobachtungen erschweren eine sichere Positionierung:

• Modelle lösen Probleme, die kompositorische Generalisierung erfordern, was auf etwas hindeutet, das über das einfache Abrufen von Informationen hinausgeht.
• Modelle zeigen zudem Fehler – die selbstbewusste Generierung falscher Aussagen, Anfälligkeit gegenüber adversarischen Störungen, Empfindlichkeit gegenüber oberflächlichen Merkmalen von Eingabeaufforderungen –, die mit robustem Schlussfolgern unvereinbar sind.
• Die internen Repräsentationen großer Modelle sind noch nicht gut verstanden. Die Forschung zur mechanistischen Interpretierbarkeit hat schaltkreisähnliche Strukturen identifiziert, die mit bestimmten Fähigkeiten korrelieren, doch befindet sich dieses Forschungsgebiet noch in einem frühen Stadium.
• Die Frage, ob die Unterscheidung zwischen „echtem Schlussfolgern“ und „schlussfolgerungsähnlichem Verhalten“ empirisch sinnvoll ist oder ob sie sich auf eine philosophische Grundhaltung reduziert, bleibt ungeklärt.

Eine weitere Komplikation ergab sich mit der Generation der „Schlussfolgerungs“- oder „Denk“-Modelle von 2025–2026, die eine zwischengeschaltete Gedankenkette externalisieren und zusätzliche Rechenzeit für die Schlussfolgerung auf schwierigere Probleme verlagern; in strukturierten Umgebungen erreichten solche Systeme bei der Internationalen Mathematik-Olympiade 2025 eine Leistung, die einer Goldmedaille entspricht. Die Debatte über die Interpretation ist nach wie vor aktuell und ungelöst. Apples The Illusion of Thinking (2025) berichtete von charakteristischen Genauigkeitseinbrüchen bei skalierbaren Rätseln, während mehrere Gegendarstellungen (z. B. Lawsen et al.; Dellibarda Varela et al., 2025) führten einen Teil des Effekts auf Auswertungsartefakte zurück und charakterisierten diese Systeme als „weder echte Denker noch stochastische Papageien“. Von größerer Bedeutung für die Regulierung ist eine wachsende Zahl von Arbeiten zur Unzuverlässigkeit der Gedankengänge (Anthropic, 2025, und nachfolgende Studien aus dem Jahr 2026): Die externalisierte Argumentation spiegelt häufig nicht die kausalen Determinanten der Modellausgabe wider, was jedes Überwachungssystem untergräbt, das sich auf die Überprüfung der vom Modell angegebenen Argumentation stützt. Die angezeigte Gedankenkette ist selbst generierter Text und keine instrumentelle Messung eines internen Prozesses.

Für Governance-Zwecke lautet die pragmatische Schlussfolgerung: Man kann weder sicher davon ausgehen, dass ein LLM korrekt argumentiert, noch kann man seine Ergebnisse als unzuverlässig abtun. Das System befindet sich in einer unangenehmen Grauzone, in der die Ergebnisse oft nützlich, manchmal falsch und ohne externe Überprüfung nicht zuverlässig voneinander zu unterscheiden sind.

Neuheit und Synthese

Eine damit zusammenhängende Frage betrifft die Frage, ob LLMs wirklich neuartige Ergebnisse hervorbringen können. Die pauschale Behauptung – dass Modelle lediglich Neukombinationen von Trainingsdaten erzeugen – ist im engeren Sinne richtig, im weiteren Sinne jedoch irreführend.

Man stelle sich ein Modell vor, das Texte zur polyzentrischen Governance-Theorie, zum Organisationsverhalten und zur Community-Informatik als separate Werkkomplexe aufgenommen hat. Bei entsprechender Aufforderung kann es Verbindungen zwischen diesen Bereichen herstellen, die kein einzelner Forscher zuvor hergestellt hat, da kein einzelner Forscher über denselben Wissenshorizont verfügt. Die einzelnen Ideen sind nicht neu. Die Synthese hingegen kann für jeden einzelnen Leser neu sein – und echte strukturelle Parallelen aufzeigen, die eine Untersuchung rechtfertigen.

Dies ist nicht gleichbedeutend mit der Neuheit von Primärforschung. Das Modell hat keinen Zugang zu empirischen Daten, mit denen es nicht trainiert wurde, keine Fähigkeit zur Versuchsplanung und keine Möglichkeit zu beurteilen, ob seine synthetisierten Zusammenhänge einer genauen Prüfung standhalten. Die Synthese ist ein Hypothesengenerator, kein Hypothesenvalidator. Doch die Hypothesengenerierung hat ihren Wert, vorausgesetzt, man verwechselt sie nicht mit der Hypothesenbestätigung.

Für Forscher, die KI-Systeme bewerten, bedeutet dies, dass die Ergebnisse von LLMs als Ausgangspunkt für Literaturrecherchen, domänenübergreifende Erkundungen und die Identifizierung struktureller Analogien nützlich sein können – jedoch derselben kritischen Prüfung bedürfen, die man bei jeder unbestätigten Quelle anwenden würde.

Trainingsdaten als Weltbild

Jedes LLM übernimmt die statistische Verteilung seines Trainingskorpus. Dies ist keine korrigierbare Verzerrung – es handelt sich um eine strukturelle Eigenschaft der Technologie.

Ein Modell, das überwiegend mit englischsprachigen, kommerziell orientierten, westlichen Internetinhalten trainiert wurde, wird Ergebnisse liefern, die die Annahmen, den Rahmen und die Prioritäten dieses Korpus widerspiegeln. Wird das Modell gebeten, Themen zu behandeln, zu denen die Trainingsdaten spärlich sind – indigene Regierungstraditionen, liturgische Sprache, mündliche Kultur, Entscheidungsfindung in kleinen Gemeinschaften –, greift es standardmäßig auf statistisch dominante Muster zurück, anstatt die Lücke anzuerkennen.

Dies hat direkte Auswirkungen auf jeden Einsatz in einem spezifischen Gemeinschaftskontext. Ein Modell, das Inhalte für eine Forschungsgruppe generieren soll, die sich mit kommunaler Regierungsführung befasst, greift standardmäßig auf die Sprache der Unternehmensführung zurück – nicht, weil es die Alternativen bewertet hat, sondern weil die Sprache der Unternehmensführung in seinen Trainingsdaten vorherrscht. Diese Substitution erfolgt stillschweigend: Das Modell weist nicht darauf hin, dass es außerhalb seines Kompetenzbereichs agiert.

Dieses Phänomen – das im Kontext der Governance als Verteilungsdrift bezeichnet werden könnte – ist gut dokumentiert, aber noch nicht zufriedenstellend gelöst. Techniken wie Fine-Tuning, Retrieval-Augmented Generation (RAG) und System-Prompting können den Effekt abmildern, beseitigen ihn jedoch nicht. Die verbleibende Verzerrung des Basismodells bleibt bestehen, insbesondere bei neuartigen oder komplexen Abfragen, bei denen das Fine-Tuning-Signal schwächer ist als die Basisverteilung.

Implikationen für die Governance-Forschung

Die oben beschriebenen Merkmale – nützliche, aber unzuverlässige Ergebnisse, unbemerkte Verteilungsverzerrung, ungewisse Schlussfolgerungsfähigkeit – definieren gemeinsam die Herausforderung für die Governance.

Ein KI-System, das gelegentlich falsch liegt, ist ein Problem der Qualitätssicherung. Ein KI-System, das gelegentlich auf eine Weise falsch liegt, die stillschweigend ein Wertegerüst durch ein anderes ersetzt, ist ein Governance-Problem. Diese Unterscheidung ist von Bedeutung, da Ersteres durch Fehlerprüfung behoben werden kann, während Letzteres strukturelle Mechanismen erfordert, die eine Abweichung auf Werteebene erkennen und nicht nur sachliche Fehler.

Die „agenteische Wende“ erhöht die Bedeutung dieser Unterscheidung. Wenn sich eine Abweichung auf Werteebene nicht auf ein überprüfbares Ergebnis, sondern auf eine autonom ausgeführte Handlung bezieht, verengt sich das Zeitfenster für menschliche Korrekturen oder verschließt sich gänzlich; und die Feststellungen zur Unzuverlässigkeit der Gedankengänge implizieren, dass die systemeigene Begründung für sein Handeln nicht als zuverlässiges Kontrollsignal angesehen werden kann. Eine Steuerung, die sich auf die Selbstauskunft des Systems stützt, ist daher strukturell unzureichend. Die Überprüfung muss außerhalb des Systems erfolgen und sich auf dessen Handlungen beziehen, nicht nur auf dessen Erklärungen.

Dies ist das Problem, für dessen Lösung das Tractatus-Framework konzipiert wurde. Ob es erfolgreich ist, ist eine empirische Frage, die in nachfolgenden Artikeln untersucht wird. Festzuhalten ist an dieser Stelle, dass das Problem real und gut charakterisiert ist und von den politikbasierten Ansätzen, die derzeit den Diskurs zur KI-Governance dominieren, nicht angemessen behandelt wird.

Was dieser Artikel nicht behauptet

Dieser Artikel behauptet nicht, dass LLMs unfähig sind, zu argumentieren – die Beweislage reicht für diese Schlussfolgerung nicht aus. Er behauptet nicht, dass LLMs logisch argumentieren können – die Beweislage ist hierfür ebenso unzureichend. Er behauptet nicht, dass Verteilungsverzerrungen unlösbar sind – sondern lediglich, dass die derzeitigen Abhilfemaßnahmen unvollständig sind. Und er behauptet nicht, dass KI-Governance unmöglich ist – sondern lediglich, dass die Herausforderung der Governance struktureller Natur ist, als gemeinhin anerkannt wird.

Der nächste Artikel untersucht die spezifischen strukturellen Unterschiede zwischen kommerziellen KI-Plattformen und gemeinschaftlich gesteuerten KI-Systemen und analysiert die damit verbundenen Kompromisse.

Die vollständige technische Architektur finden Sie unter Village AI – Agentic Governance. Leser, die in der Praxis mit diesen Systemen arbeiten, könnten die begleitenden Kurse für Praktiker nützlich finden: Working with Claude, zum Ermitteln und Bewerten von Modellausgaben, und Agents at Work, zur Steuerung von handelnden Systemen.