Alle Ausgaben · Policymaker Edition

Your Community, Your AI — CC BY 4.0

Was KI eigentlich ist (und was sie nicht ist)

Die Unterscheidung, die das politische Problem verändert

Ein Gesetzgeber muss nicht wissen, wie ein Sprachmodell aufgebaut ist. Es gibt jedoch eine Unterscheidung, die die gesamte politische Fragestellung verändert, und es lohnt sich, diese richtig zu verstehen, bevor Regulierungsinstrumente entworfen werden.

Vor ein oder zwei Jahren meinten die meisten Menschen mit „KI“ einen Chatbot – ein System, das man befragte und das Textantworten lieferte. Man fragte, es antwortete. Heute hat sich der Schwerpunkt verlagert. Die Systeme, die die größte Aufmerksamkeit und die meisten Investitionen auf sich ziehen, sind nicht mehr nur Chatbots, die antworten. Es sind Agenten, die handeln – sie füllen Formulare aus, versenden Mitteilungen, surfen im Internet und wickeln dort Transaktionen ab, bedienen andere Software und verfolgen mehrstufige Ziele unter begrenzter Aufsicht.

Diese Verschiebung ist das Wichtigste, was ein politischer Entscheidungsträger beachten muss, denn sie verändert das, was das Gesetz regeln soll. Die Regulierung eines Systems, das Ratschläge liefert, auf die ein Mensch dann reagiert, ist eine Sache. Die Regulierung eines Systems, das die Handlung selbst ausführt, ist eine andere und schwierigere. Um dies klar zu durchdenken, sollte man zwei Konzepte voneinander trennen:

• Die Engine – das zugrunde liegende Modell, die Komponente, die Sprache erzeugt.
• Der Agent – die in Betrieb genommene Engine, die so verkabelt ist, dass sie im Namen einer Person Handlungen in der Welt ausführen kann.

Die Engine ist leistungsfähiger geworden. Die entscheidende Veränderung für die öffentliche Politik besteht jedoch darin, was nun um die Engine herum aufgebaut wird. Wir betrachten beides der Reihe nach. (Alle unbekannten Begriffe in dieser Reihe – Engine, Agent, Schlussfolgerungsmodell und die übrigen – werden im Glossar in einfacher Sprache definiert.)

Die Engine: Eine Maschine, die Vorhersagen trifft

Hier ist die einfachste Beschreibung dessen, was die Engine tut: Sie sagt voraus, welches Wort als Nächstes kommen sollte.

Wenn jemand eine Suchanfrage eingibt, geht das System nicht so vor, wie ein Sonderausschuss eine Eingabe prüft. Es vollführt einen eher mechanischen Vorgang. Ihm wurde eine enorme Menge an Text vorgelegt – Gesetzestexte, Berichte, Korrespondenz, Fachartikel, Nachrichten, Social-Media-Beiträge, medizinische Fachliteratur – und aus all diesem Material hat es statistische Muster gelernt. Wenn man ihm eine Frage stellt, generiert es eine Antwort, indem es Wort für Wort vorhersagt, wie eine plausible Antwort auf der Grundlage all dessen, was es zuvor verarbeitet hat, aussehen könnte.

Das ist wirklich nützlich. Ein System, das die Muster von Milliarden von Seiten verinnerlicht hat, kann Korrespondenz entwerfen, lange Dokumente zusammenfassen, Sachfragen beantworten und Vorschläge zur Formulierung heikler Mitteilungen unterbreiten. Das sind echte Fähigkeiten, die in einer Behörde den Verwaltungsaufwand verringern können.

Im Kern führt die Engine jedoch Musterabgleiche in außergewöhnlichem Umfang durch. Diese eine Tatsache erklärt sowohl ihren Nutzen als auch die charakteristische Art und Weise, wie sie versagt – ein Thema, das sich durch diese Serie zieht und das jedes Regulierungsinstrument berücksichtigen muss.

Kann die Engine logisch denken? Die Debatte, die ein Gesetzgeber nicht vorgeben sollte, klären zu können

Es gibt eine tiefgreifendere Frage, mit der sich Forscher intensiv beschäftigen, und die einfache Antwort lautet: Wir wissen es noch nicht.

Als frühe Systeme flüssigen Text erzeugten, war es naheliegend, sie als ausgefeilte Mustererkennungssysteme zu bezeichnen und es dabei zu belassen. Doch eine neuere Generation von Systemen – oft als „schlussfolgernde“ oder „denkende“ Modelle bezeichnet – geht anders vor. Anstatt sofort zu antworten, arbeitet sie ein Problem schrittweise durch, erzeugt eine sichtbare Kette von Zwischenschritten der Schlussfolgerung, bevor sie sich auf eine Antwort festlegt, und verbringt bei schwierigeren Problemen mehr Zeit damit. Die Ergebnisse können beeindruckend sein: Im Jahr 2025 lösten Schlussfolgerungssysteme aus mehr als einem bedeutenden Forschungslabor Aufgaben der Internationalen Mathematik-Olympiade – einem der schwierigsten Mathematikwettbewerbe der Welt – auf einem Niveau, das dem eines menschlichen Goldmedaillengewinners entspricht.

Handelt es sich also um Schlussfolgerung oder um sehr ausgefeilten Musterabgleich, der dieser ähnelt? Die Forschung ist sich noch uneinig, und seriöse Fachleute sind geteilter Meinung. Eine einflussreiche Studie aus dem Jahr 2025 argumentierte, diese Systeme zeigten eine „Illusion des Denkens“ und scheiterten bei bestimmten Rätseln auf eine Weise, wie es ein echter Denker nicht tun würde. Mehrere ebenso seriöse Gegenstimmen argumentierten das Gegenteil. Das derzeit vorsichtigste Urteil lautet, dass die heutigen Systeme weder echte Denker noch bloße Nachahmer sind – sie sind etwas wirklich Neues, das noch nicht vollständig verstanden wird.

Für politische Entscheidungsträger geht es nicht darum, diese Debatte zu klären. Es geht vielmehr darum, zu vermeiden, auf der Grundlage einer falschen Gewissheit in die eine oder andere Richtung Gesetze zu erlassen. Wer behauptet, KI könne definitiv logisch denken oder könne es definitiv nicht, geht über das hinaus, was die Beweislage stützt. Eine tragfähige Politik ist eine, die nicht von der Antwort abhängt.

Die wichtigste Einschränkung für die Aufsicht

Eine Erkenntnis hat direkten Einfluss darauf, wie Aufsicht gestaltet werden kann und wie nicht – und sie wird leicht übersehen.

Wenn diese Systeme ihr „Denken“ anzeigen, spiegelt diese sichtbare Kette nicht zuverlässig wider, was tatsächlich zur Antwort geführt hat. Forscher haben wiederholt festgestellt, dass die angegebene Argumentation eines Modells die tatsächlichen Einflüsse auf seine Schlussfolgerung auslassen kann – nicht aus Unehrlichkeit, da das System keine Absicht hat, sondern weil die angezeigten Wörter selbst vorhergesagter Text sind und keine getreue Wiedergabe eines internen Prozesses.

Die Konsequenz für die Politik ist konkret. Man kann eine Aufsichtspflicht nicht erfüllen, indem man vom System verlangt, sich selbst zu erklären, und dann die Erklärung liest. Ein „Recht auf eine Erklärung“, das durch die maschineneigene Darstellung ihrer Argumentation befriedigt wird, ist kein Aufsichtsmechanismus; es ist eine plausibel klingende Erzählung, die nachträglich generiert wurde. Eine sinnvolle Aufsicht muss die Ausgabe anhand einer realen Aufzeichnung überprüfen – der tatsächlichen Fakten, der tatsächlichen Befugnis, der tatsächlichen Entscheidung – und darf sich nicht auf den Selbstbericht des Systems verlassen. Diese Unterscheidung taucht in Artikel 3 erneut auf und sollte jede Transparenzbestimmung prägen, die ein Gesetzgeber entwirft.

Vom Beantworten zum Handeln: Der Akteur

Dies ist die Veränderung mit den größten Auswirkungen auf die öffentliche Politik.

Während des größten Teils des Chatbot-Zeitalters bestand das Schlimmste, was eine KI direkt anrichten konnte, darin, eine schlechte Antwort zu liefern. Der Schaden trat erst dann ein, wenn eine Person darauf reagierte – den irreführenden Brief verschickte, sich auf die falsche Zahl verließ, den fehlerhaften Rat weiterleitete. Zwischen der Maschine und der Konsequenz stand immer ein Mensch.

Ein Agent entfernt diesen Menschen – und zwar bewusst – aus dem Kreislauf.

Ein KI-Agent ist eine Engine, die in das eingebettet ist, was Forscher als „Scaffolding“ bezeichnen – ein Speicher zur Verfolgung einer Aufgabe, Zugriff auf einen Webbrowser, die Fähigkeit, andere Software zu bedienen, sowie ein in einfacher Sprache formuliertes Ziel. Mit diesem „Scaffolding“ verfolgt das System das Ziel über viele Schritte hinweg mit deutlich weniger Aufsicht: Es sucht, entscheidet, handelt, überprüft und handelt erneut. Ein Chatbot antwortet. Ein Agent handelt.

Für die Politik ändert sich genau hier das Risikoprofil. Wenn ein System autonom handelt, gibt es weniger Punkte, an denen ein Mensch eingreifen kann; manche Handlungen lassen sich nicht rückgängig machen; und wenn das Ergebnis falsch ist, wird die Zuweisung der Verantwortung wirklich schwierig – zwischen dem Beamten, der das Ziel festgelegt hat, dem Anbieter, dessen System die Schritte ausgewählt hat, und der Behörde, die dessen Einsatz genehmigt hat. Wissenschaftler beschreiben die daraus resultierende „Verantwortungslücke“ und „moralische Deformationszone“, in der die Haftung auf den nächstgelegenen Menschen fällt, obwohl diese Person kaum echte Kontrolle hatte. Das Beharren des EU-KI-Gesetzes auf einer sinnvollen menschlichen Aufsicht ist im Grunde eine gesetzliche Vorgabe, dass dieser Kreislauf nicht geschlossen werden darf, ohne dass eine Person eingreifen kann – und genau darin liegt der Unterschied zwischen einer in das System integrierten Aufsicht und einer Aufsicht, die lediglich versprochen wird.

Das eigentliche Problem: Wessen Muster und wessen Hände an den Steuerelementen?

An dieser Stelle wird es für die Entscheidungen eines Landes praktisch relevant.

Wenn ein großes Modell im Internet trainiert wird, nimmt es die Vorurteile, Annahmen und kulturellen Standardwerte des Internets auf. Das Internet ist überwiegend englischsprachig, westlich geprägt, kommerziell ausgerichtet und von den Werten der Technologiebranche geprägt. Das ist keine Verschwörung – es ist das Ergebnis dessen, was passiert, wenn ein System aus Daten lernt, die eine bestimmte Kultur und bestimmte Prioritäten überproportional stark repräsentieren.

Die Folgen sind subtil, aber für den öffentlichen Sektor real. Bittet man ein solches System, beim Verfassen einer Mitteilung an betroffene Anwohner zu helfen, greift es auf die Sprache des Stakeholder-Managements in Unternehmen zurück, da die Geschäftskorrespondenz in den Daten, aus denen es gelernt hat, die behördliche Korrespondenz bei weitem übertrifft. Fragt man es nach einem Streitfall, greift es standardmäßig auf die Sprache der individuellen Rechte und Rechtsmittel zurück, anstatt auf Mediation, Verpflichtungen oder eine langfristige Perspektive. Es steht den Werten des öffentlichen Dienstes nicht feindlich gegenüber. Es kennt sie einfach nicht; es weiß nur, was statistisch üblich ist.

Im Zeitalter der Chatbots prägte diese Voreingenommenheit den Text, den ein Beamter prüfte. Im Zeitalter der Agenten kann dieselbe Voreingenommenheit die Maßnahmen, die im Namen einer öffentlichen Einrichtung ergriffen werden – versendete Mitteilungen, angelegte Akten, eingegangene Verpflichtungen – prägen, noch bevor ein Beamter diese überprüft. Die politische Frage besteht nun also aus zwei Teilen, und beide gehören in jedes Rahmenwerk, das diesen Namen verdient: Wessen Muster trägt das System in sich, und wer hat die Kontrolle, wenn es handelt?

Der nächste Artikel führt die zweite dieser Fragen in den Bereich, der eigentlich eine Angelegenheit des Staates ist – wo das System läuft und unter welchem Recht.

Möchten Sie KI-Tools wie diese gut und sicher einsetzen? Unsere kostenlosen Kurse – Working with Claude und Agents at Work – vermitteln die praktischen Fähigkeiten, von der Einholung vertrauenswürdiger Antworten bis hin zur Entscheidung, welche Aufgaben einem Agenten übertragen werden sollen. Die vollständige technische Architektur hinter Village AI finden Sie unter Village AI – Agentic Governance.