Wer kann korrigieren?

Über technische Macht und die Vorraussetzungen menschlicher Kontrolle

Eine Mitarbeiterin überprüft einen Bericht, den ein KI-System erstellt hat. Eine Schlussfolgerung erscheint ihr zweifelhaft. Sie bittet ein zweites System, nach Fehlern und Gegenargumenten zu suchen.

Die Antwort bestätigt den Bericht. Sie gibt ihn weiter.

Später kontrolliert eine andere Abteilung die Entscheidung, ebenfalls mit künstlicher Intelligenz.

Drei Prüfungen haben stattgefunden. Der Vorgang scheint gut abgesichert.

Doch was, wenn die Systeme auf verwandten Modellen beruhen, ähnliche Daten verwenden und deshalb denselben Fehler übersehen?

Dann können mehrere Prüfungen stattfinden, ohne dass unabhängige Perspektiven entstehen.

Mehrere Prüfinstanzen sind noch keine unabhängigen Prüfinstanzen.

In der KI-Sicherheitsforschung bezeichnet Korrigierbarkeit häufig die Eigenschaft eines Systems, menschliche Eingriffe oder seine Abschaltung nicht zu unterlaufen.

Hier geht es um eine weiterreichende Frage: Unter welchen Bedingungen können Menschen und Institutionen Fehlentwicklungen erkennen, in sie eingreifen und ihre Ursachen verändern?

Wer kann korrigieren?

Die Macht über Bedingungen

Technische Systeme werden entwickelt, finanziert, eingesetzt und verändert. Unternehmen bestimmen über Modelle und Anwendungen. Staaten setzen Regeln. Institutionen wählen Verfahren aus. Nutzer entscheiden innerhalb der Möglichkeiten, die ihnen angeboten werden.

Diese Möglichkeiten sind ungleich verteilt.

Wer eine KI-Antwort erhält, kann sie zurückweisen. Meist kann er aber nicht untersuchen, welche Daten, Bewertungsverfahren oder Entscheidungen zu ihr geführt haben.

Eine Behörde kann den Einsatz eines Systems begrenzen. Ob sie seine Funktionsweise ausreichend prüfen kann, hängt jedoch von ihren Befugnissen, ihrer technischen Kompetenz und dem Zugang zu Informationen ab.

Besonders schwierig wird Kontrolle, wenn wesentliche Informationen und Prüfwerkzeuge bei denselben Unternehmen liegen, deren Systeme überprüft werden sollen.

Macht besteht hier nicht nur darin, Entscheidungen durchzusetzen. Sie liegt auch darin, die Bedingungen festzulegen, unter denen andere entscheiden und handeln.

Ein Empfehlungssystem verbietet kein Buch. Es beeinflusst aber, welche Bücher sichtbar werden. Ein Navigationssystem verbietet keinen Umweg. Es macht bestimmte Wege wahrscheinlicher als andere.

Solche Systeme können Handlungsmöglichkeiten erweitern. Sie können aber auch beeinflussen, welche Alternativen überhaupt in Betracht kommen.

Menschen und Institutionen gestalten die Ziele und Einsatzbedingungen der Systeme. Diese wirken innerhalb solcher Vorgaben auf menschliche Entscheidungen zurück – mitunter auf eine Weise, die niemand im Einzelnen vorgesehen hat.

Die Möglichkeit zur Korrektur ist deshalb nicht allein eine technische Eigenschaft. Sie ist auch eine Frage verteilter Macht.

Kontrolle war nie Sache eines Einzelnen

Daraus folgt nicht, dass jeder Mensch ein technisches System vollständig verstehen müsste, um es kontrollieren zu können.

Ein Pilot konstruiert nicht jedes Bauteil seines Flugzeugs. Ein Arzt entwickelt nicht jedes medizinische Messgerät. Ein Gericht kann Sachverständige hinzuziehen, ohne deren Untersuchungen selbst durchführen zu können.

Komplexe Gesellschaften beruhen auf geteilter Kompetenz.

Menschen, Institutionen und technische Verfahren überprüfen einander. Zuständigkeiten werden getrennt, Ergebnisse verglichen, Entscheidungen angefochten.

Auch KI-Systeme können andere KI-Systeme wirksam kontrollieren. Sie können Fehler entdecken und Abweichungen erkennen, die Menschen übersehen.

Die entscheidende Grenze verläuft deshalb nicht zwischen menschlicher und maschineller Prüfung.

Sie verläuft dort, wo verschiedene Prüfungen dieselben Voraussetzungen teilen, ohne dass diese Abhängigkeit erkennbar wird.

Wenn die Sicherungen denselben Fehler übersehen

Kehren wir zum Bericht zurück.

Die beteiligten Abteilungen arbeiten organisatorisch unabhängig. Ihre KI-Systeme können dennoch auf ähnlichen Daten, Modellen oder Bewertungsverfahren beruhen.

Dass gemeinsame Fehlerquellen ein reales Problem sind, zeigt eine Untersuchung von Elliot Kim und Kollegen aus dem Jahr 2025. Die Forscher analysierten mehr als 350 Sprachmodelle und stellten fest, dass unterschiedliche Modelle häufig dieselben Fehler machen. Besonders bemerkenswert: Bei genaueren Modellen waren die verbleibenden Fehler stärker miteinander korreliert – selbst über Anbietergrenzen hinweg. Auch die Bewertung von KI durch andere KI-Systeme kann dadurch verzerrt werden.

Aus der Sicherheitstechnik ist das zugrunde liegende Problem bekannt: Mehrere Sicherungen können durch dieselbe Ursache versagen.

Die Schwierigkeit liegt darin, dass ihre gemeinsame Abhängigkeit zunächst unsichtbar bleiben kann.

Es gibt getrennte Zuständigkeiten, Prüfberichte und Aufsichtsverfahren. Die institutionelle Form vermittelt Unabhängigkeit. Ob die Prüfungen tatsächlich unterschiedliche Fehler erkennen können, ist damit noch nicht geklärt.

Unabhängigkeit bedeutet dabei keine vollständige Trennung. Auch menschliche Prüfer teilen Wissen, Ausbildung und Vorannahmen.

Eine zusätzliche Prüfung erhöht die Sicherheit nicht allein dadurch, dass sie stattfindet. Entscheidend ist, welche Fehler sie erkennen kann, die andere übersehen – und ob ihre Ergebnisse unabhängig von den Geprüften beurteilt werden können.

Wenn kein einzelnes System versagt

Mit selbstständig handelnden KI-Agenten entsteht eine weitere Schwierigkeit.

Stellen wir uns ein Unternehmen vor, das seine Lieferkette durch mehrere Agenten organisiert.

Ein Einkaufsagent beschafft Material zu günstigen Bedingungen. Ein Produktionsagent passt die Fertigung an. Ein Logistikagent wählt Transportwege und Liefertermine.

Die Systeme tauschen Informationen aus und verändern ihre Entscheidungen, wenn andere Agenten neue Bedingungen schaffen.

Der Einkaufsagent wechselt zu einem günstigeren Lieferanten. Der Produktionsagent richtet seine Planung auf dessen Lieferzeiten aus. Der Logistikagent bündelt Transporte, um Kosten zu sparen.

Jede Entscheidung kann innerhalb ihrer jeweiligen Aufgabe sinnvoll sein. Gemeinsam entsteht jedoch möglicherweise eine starke Abhängigkeit von einem Lieferanten und wenigen Transportverbindungen. Fällt eine davon aus, gerät die gesamte Produktion ins Stocken.

Kein einzelner Agent muss dafür eine falsche Berechnung vorgenommen haben.

Das Beispiel ist ein mögliches Szenario. Der zugrunde liegende Mechanismus ist jedoch bekannt: Viele einzeln vernünftige Entscheidungen können gemeinsam unerwünschte Folgen haben. Die Forschung zu Risiken von Multi-Agenten-Systemen untersucht, wie solche Entwicklungen durch das Zusammenwirken autonomer Systeme entstehen können.

Das Problem ist also nicht neu. Neu werden könnten Geschwindigkeit, Reichweite und Undurchschaubarkeit der Wechselwirkungen.

Schon ein einzelner Agent kann eine Bestellung auslösen, bevor ein Mensch seine Entscheidung überprüft hat. Wenn zahlreiche Agenten aufeinander reagieren, können sich die Folgen weiter ausbreiten. Eine Korrektur muss dann rechtzeitig möglich sein – oder zumindest die Folgen begrenzen und, soweit möglich, rückgängig machen können.

Doch die Frage reicht weiter.

Wenn alle Agenten vor allem Kosten senken sollen, kann es notwendig werden, nicht ihre Berechnungen zu korrigieren, sondern die Maßstäbe ihres Erfolgs. Versorgungssicherheit, Arbeitsbedingungen oder langfristige Abhängigkeiten müssten dann anders berücksichtigt werden.

Das ist keine technische Fehlerkorrektur mehr. Es ist eine Entscheidung darüber, welche Ziele gelten sollen.

Betreiber können Vorgaben verändern. Entwickler können Verfahren anpassen. Aufsichtsbehörden können innerhalb ihrer Zuständigkeiten eingreifen. Beschäftigte, Kunden und betroffene Unternehmen können auf Folgen aufmerksam machen und Ansprüche geltend machen.

Ob daraus eine Veränderung entsteht, hängt von den verfügbaren Verfahren und den Befugnissen der Beteiligten ab.

Die KI programmiert ihren Programmierer

Programmierer verwenden KI beim Programmieren. KI-Systeme können Fehler in Software entdecken, Tests entwickeln und Verbesserungen vorschlagen.

Das erweitert technische Fähigkeiten und kann Prüfungen zuverlässiger machen.

Zugleich verändert es die Arbeitsprozesse der Menschen, die solche Systeme entwickeln und kontrollieren.

Im Grenzfall programmiert die KI ihren Programmierer.

Nicht weil sie einen eigenen Willen hätte. Sondern weil sie an den Verfahren beteiligt ist, mit denen diejenigen arbeiten, die sie beurteilen und verändern sollen.

Die Frage reicht inzwischen über einzelne Menschen hinaus.

Ein KI-Agent kann Software schreiben. Ein anderer kann sie testen. Weitere Systeme können Prüfverfahren verbessern und Bewertungskriterien vorschlagen.

Darin liegt ein Gewinn: Technische Kontrolle kann umfassender, schneller und genauer werden.

Doch wenn Systeme zunehmend auch an der Gestaltung ihrer Prüfbedingungen mitwirken, muss nachvollziehbar bleiben, wer die Prüfziele festlegt, welche Annahmen die Verfahren teilen und wer sie unabhängig überprüfen und verändern kann.

Das Problem ist nicht, dass Maschinen grundsätzlich unfähig wären, andere Maschinen zu korrigieren.

Es entsteht dort, wo Entwicklung und Prüfung immer enger ineinandergreifen, während ihre gemeinsamen Voraussetzungen schwerer erkennbar werden.

Was Korrektur voraussetzt

Der Philosoph Karl Popper stellte der Frage, wer herrschen solle, eine andere gegenüber: Wie müssen Institutionen beschaffen sein, damit schlechte Herrschaft ohne Gewalt beendet werden kann?

Auch bei technischen Systemen führt die Suche nach einer vollkommen kompetenten Kontrollinstanz in die Irre.

Die Frage „Wer kann korrigieren?“ hat keine einzelne Antwort.

Nicht der Entwickler allein. Nicht der Nutzer. Nicht der Staat. Und auch nicht ein Mensch, der jede maschinelle Entscheidung persönlich überprüfen müsste.

Korrektur entsteht in einem Gefüge aus Menschen, Institutionen und technischen Verfahren.

Dabei müssen drei Aufgaben auseinandergehalten werden.

Ein Fehler muss rechtzeitig erkannt werden können.

Ein problematisches Zusammenwirken mehrerer Systeme muss sichtbar und veränderbar sein.

Und die Ziele und Bedingungen, aus denen unerwünschte Ergebnisse entstehen, müssen selbst zur Entscheidung stehen können.

Diese Aufgaben verlangen unterschiedliche Kenntnisse und Befugnisse.

Wer einen Fehler entdeckt, kann ihn nicht unbedingt beheben. Wer ein System verändern kann, darf nicht notwendig allein über seine Ziele entscheiden.

Wo technische Entscheidungen gesellschaftliche Folgen haben, müssen deshalb auch die Interessen der Betroffenen in Verfahren berücksichtigt werden können, in denen Entscheidungen begründet, angefochten und verändert werden dürfen.

Eine korrigierbare technische Ordnung braucht nicht nur zuverlässige Systeme.

Sie braucht die Möglichkeit, auch eine Ordnung zu verändern, in der jedes einzelne System zuverlässig funktioniert.

Forschung & Weiterlesen

Kim, E. M., Garg, A., Peng, K. & Garg, N. (2025): Correlated Errors in Large Language Models. ICML 2025. Originalveröffentlichung. Empirische Untersuchung gemeinsamer Fehlerquellen und ihrer Folgen für KI-gestützte Bewertungen.

Hammond, L. et al. (2025): Multi-Agent Risks from Advanced AI. Cooperative AI Foundation. Forschungsbericht. Systematische Untersuchung von Risiken, die aus Interaktionen mehrerer KI-Agenten entstehen können.

Europäische Union: AI Act, Artikel 14 – Menschliche Aufsicht. Gesetzestext. Rechtlicher Rahmen für die menschliche Aufsicht über Hochrisiko-KI-Systeme.

Weiterdenken

KI & Gegenwart

Menschliche Kontrolle bedeutet nicht, dass ein Mensch einem technischen System allein gegenübersteht und alles selbst beurteilen kann. Was verändert sich, wenn menschliches und technisches Urteilen zunehmend ineinandergreifen – und Verantwortung dennoch zugerechnet werden muss?

→ Zum Themenraum KI & Gegenwart

← Zurück zu Macht & Gestaltung