Wer entscheidet?

Wer entscheidet?

Über künstliche Intelligenz, Urteil und Verantwortung

Ein Arzt steht vor einer Entscheidung.

Die Befunde seines Patienten sind nicht eindeutig. Aufgrund seiner Erfahrung hält er Behandlung A für richtig. Ein diagnostisches System empfiehlt Behandlung B.

Das allein wäre noch kein ungewöhnlicher Konflikt. Ärzte arbeiten seit langem mit Laborwerten, Leitlinien, statistischen Modellen und technischen Untersuchungen.

Doch nehmen wir an, in diesem Fall kommt etwas hinzu:

Das System hat sich für genau diese Art von Fällen in sorgfältigen klinischen Prüfungen als zuverlässiger erwiesen als das Urteil eines einzelnen Arztes.

Was wäre jetzt verantwortliches Handeln?

Der eigenen Erfahrung folgen?

Oder der Empfehlung eines Systems, das mehr vergleichbare Fälle berücksichtigen kann, als ein Mensch jemals gesehen haben wird?

Die Frage wird schwieriger, wenn es nicht nur um unterschiedliche Einschätzungen geht.

Der Patient kann sterben.

Die bessere Empfehlung

Es wäre beruhigend, die Grenze eindeutig zu ziehen.

Maschinen berechnen.

Menschen entscheiden.

Doch je leistungsfähiger technische Systeme werden, desto weniger genügt diese Unterscheidung.

Ein System kann Wahrscheinlichkeiten vergleichen, Muster erkennen und Risiken gegeneinander abwägen. In bestimmten, klar umrissenen Bereichen kann seine Empfehlung zuverlässiger sein als das Urteil eines einzelnen Menschen.

Dann wäre es nicht notwendig verantwortungsvoll, auf der eigenen Entscheidung zu bestehen.

Im Gegenteil.

Wer eine nachweislich zuverlässigere technische Empfehlung ignoriert, nur weil sie von einer Maschine stammt, könnte gerade dadurch unverantwortlich handeln. Die Verwendung technischer Systeme bedeutet deshalb nicht automatisch einen Verlust menschlicher Verantwortung. Sie kann Teil verantwortlichen Handelns sein.

Menschen haben Entscheidungen ohnehin nie vollkommen allein getroffen. Sie verlassen sich auf Erfahrungen anderer, wissenschaftliche Erkenntnisse, Messgeräte, Regeln, Experten und Institutionen.

Künstliche Intelligenz erfindet diese Abhängigkeit nicht. Aber leistungsfähigere Systeme können mit ihren Empfehlungen immer weiter in Bereiche fachlichen Urteilens hineinreichen.

Damit verändert sich die Frage.

Nicht mehr nur:

Was empfiehlt die Maschine?

Sondern:

Was bedeutet eigenes Urteil, wenn es vernünftig sein kann, einem technisch erzeugten Urteil zu folgen?

Wenn etwas schiefgeht

Nehmen wir an, der Arzt folgt dem System.

Behandlung B wird durchgeführt.

Der Patient stirbt.

Wer trägt die Verantwortung?

Der Arzt, der die Empfehlung übernommen hat?

Das Krankenhaus, das das System eingeführt hat?

Der Hersteller, der es entwickelt hat?

Oder diejenigen, die seine Verwendung geregelt haben?

Auch das System war an der Entscheidung beteiligt. Seine Berechnung hat die Behandlung beeinflusst.

Aber Verursachung und Verantwortung sind nicht dasselbe.

Eine Maschine kann an einer Entscheidung beteiligt sein. Sie kann Empfehlungen erzeugen, Handlungen beeinflussen und Fehler produzieren.

Doch Verantwortung bedeutet mehr.

Wer Verantwortung trägt, muss grundsätzlich für sein Handeln einstehen können. Von ihm können Gründe verlangt werden. Sein Verhalten kann ihm zugerechnet werden. Er kann verpflichtet werden, auf die Folgen seines Handelns zu reagieren.

Ein System kann Gründe ausgeben.

Aber es steht für diese Gründe nicht ein.

Damit ist allerdings noch nicht geklärt, wer stattdessen verantwortlich ist.

Der Arzt ist nicht für die Konstruktion des Systems verantwortlich. Der Hersteller entscheidet nicht über den einzelnen Patienten. Das Krankenhaus wiederum bestimmt mit, unter welchen Bedingungen ein solches System eingesetzt wird.

Kausale Beteiligung, moralische Verantwortung und rechtliche Haftung können auseinanderfallen.

Deshalb muss genauer gefragt werden, wer was wissen konnte, welche Aufgabe jemand hatte, welchen Einfluss er besaß – und wofür er einstehen muss.

Die Unterschrift

Eine Institution kann versuchen, diese Frage durch Verfahren zu beantworten.

Ein Krankenhaus kann festlegen, dass ein technisches System Empfehlungen gibt und die endgültige Entscheidung beim Arzt bleibt. Es kann verlangen, dass der Arzt die Empfehlung prüft, bestätigt oder eine Abweichung begründet.

Am Ende steht eine Unterschrift.

Damit lässt sich institutionell oder rechtlich bestimmen, wem eine Entscheidung zugerechnet wird. Aber die Unterschrift beantwortet noch nicht, wo das Urteil entstanden ist.

Stellen wir uns vor, der Arzt folgt dem System fast immer.

Nicht aus Bequemlichkeit. Sondern weil die Erfahrung zeigt, dass dessen Empfehlungen in seinem Einsatzbereich zuverlässig sind.

Gerade darin liegt ein Problem.

Je verlässlicher ein System erscheint, desto vernünftiger kann es sein, ihm zu vertrauen. Und desto leichter kann aus begründetem Vertrauen eine Gewohnheit werden, seine Empfehlungen zu übernehmen.

Der Arzt kennt den vorgesehenen Einsatzbereich des Systems und seine bekannten Grenzen. Aber er kann nicht jeden technischen Schritt nachvollziehen, der zu einer konkreten Empfehlung geführt hat.

Das Krankenhaus erwartet seine Verwendung. Vielleicht fehlt im klinischen Alltag auch die Zeit, jede Empfehlung umfassend zu überprüfen.

Trotzdem unterschreibt er.

Formal bleibt die Entscheidung menschlich.

Aber ist damit auch menschliches Urteil gesichert?

Was genau bestätigt die Unterschrift?

Dass der Arzt selbst zu diesem Ergebnis gekommen ist?

Oder dass er es für vernünftig hält, sich auf ein anderes Urteil zu verlassen?

Eine menschliche Unterschrift garantiert noch kein menschliches Urteil.

Das Recht kann eine Entscheidung zurechnen.

Es beantwortet damit noch nicht, wie das Urteil entstanden ist – und welche tatsächlichen Möglichkeiten derjenige besaß, dem die Entscheidung zugerechnet wird.

Der umgekehrte Fall

Nun verändern wir den Fall.

Der Arzt vertraut seiner Erfahrung und entscheidet sich gegen die Empfehlung des Systems.

Behandlung A wird durchgeführt.

Der Patient stirbt.

Später zeigt sich, dass Behandlung B mit hoher Wahrscheinlichkeit erfolgreicher gewesen wäre.

Ist der Arzt jetzt verantwortlicher, weil er selbst entschieden hat?

Wohl kaum.

Vielleicht wird ihm gerade vorgeworfen werden, dass er eine zuverlässigere Empfehlung ignoriert hat. Damit gerät eine verbreitete Forderung unter Druck:

Am Ende müsse eben immer ein Mensch entscheiden.

Das klingt zunächst wie eine Sicherung von Verantwortung.

Aber menschliche Beteiligung garantiert noch kein besseres Urteil.

Ein Mensch kann voreingenommen sein, übermüdet, unerfahren oder schlicht im Irrtum. Technische Systeme können helfen, solche Fehler zu erkennen, Entscheidungen konsistenter zu machen und Wissen verfügbar zu machen, das einem einzelnen Menschen fehlt.

Die Lösung kann deshalb nicht darin bestehen, technische Systeme möglichst weit von wichtigen Entscheidungen fernzuhalten. Aber ebenso wenig genügt es, irgendwo am Ende des Verfahrens einen Menschen einzusetzen, der die Entscheidung bestätigt.

Ein Mensch im Entscheidungsprozess ist noch keine menschliche Kontrolle.

Entscheidend ist, ob dieser Mensch tatsächlich urteilen kann.

Dafür muss er nicht verstehen, wie das System intern zu jedem einzelnen Ergebnis gelangt. Aber er muss wissen, wofür es geprüft wurde, welche Grenzen bekannt sind und welche Unsicherheiten bleiben. Er muss eine Empfehlung im konkreten Fall beurteilen und auf Hinweise reagieren können, die gegen sie sprechen.

Und er muss widersprechen können, wenn er Gründe dafür hat.

Menschliche Kontrolle verlangt deshalb kein vollständiges technisches Verständnis. Sie verlangt die Fähigkeit, verantwortlich mit einem Urteil umzugehen, das nicht das eigene ist.

Doch auch diese Fähigkeit hat Grenzen.

Kein Arzt kann Fehler erkennen, die bislang niemand kennt. Kein einzelner Mensch kann jede mögliche Schwäche eines komplexen Systems vorhersehen.

An dieser Grenze wird sichtbar, was individuelle Urteilsfähigkeit allein nicht leisten kann, wenn Verantwortung sich verteilt.

Wichtige Entscheidungen entstehen schon heute selten an einem einzigen Ort.

Ein Arzt urteilt auf Grundlage wissenschaftlicher Erkenntnisse, diagnostischer Verfahren, medizinischer Standards und eigener Erfahrung. Krankenhäuser schaffen Verfahren. Hersteller entwickeln Systeme. Fachgesellschaften und Gesetzgeber setzen Standards und Grenzen.

Künstliche Intelligenz macht diese Strukturen nicht erst notwendig. Aber sie kann innerhalb dieser Strukturen einen größeren Teil des fachlichen Urteils übernehmen.

Dadurch wird deutlicher, was der Satz „Der Arzt entscheidet“ schon immer vereinfachte:

Eine Entscheidung kann einem Menschen zugerechnet werden, obwohl das Urteil, auf dem sie beruht, an vielen Stellen entstanden ist.

Verantwortung muss deshalb nicht bei einer einzelnen Person liegen.

Der Hersteller kann für Eigenschaften des Systems verantwortlich sein, eine Institution für dessen Auswahl und Einsatzbedingungen, ein Arzt für den Umgang mit einer konkreten Empfehlung.

Dafür gibt es keine Formel, die für jeden Fall im Voraus bestimmt, wer welchen Anteil der Verantwortung trägt.

Aber es gibt Kriterien.

Verantwortung muss sich daran bemessen, was jemand wissen konnte, welche Aufgabe er hatte, welchen Einfluss er besaß und welche Handlungsmöglichkeiten ihm tatsächlich offenstanden.

Verteilte Verantwortung darf nicht zu verschwundener Verantwortung werden.

Die Grenzen des Wissens

Was aber geschieht, wenn alle Beteiligten sorgfältig gehandelt haben – und trotzdem etwas schiefgeht?

Vielleicht versagt das System auf eine Weise, die vorher nicht bekannt war. Dann wäre es zu einfach, sofort nach einem Schuldigen zu suchen.

Aber ebenso einfach wäre die Antwort:

Das konnte niemand wissen.

Denn auch Unvorhersehbarkeit kann zur Ausrede werden.

Bevor sie jemanden entlasten kann, muss geprüft werden, ob das System nach dem verfügbaren Wissen sorgfältig bewertet wurde, bekannte Grenzen berücksichtigt und frühere Auffälligkeiten dokumentiert wurden – und ob die Beteiligten tatsächlich die Möglichkeit besaßen, anders zu handeln.

Erst danach lässt sich bestimmen, ob eine Unsicherheit geblieben ist, die durch verantwortliches Handeln nicht zu vermeiden war.

Ein Schaden beweist nicht automatisch, dass jemand unverantwortlich gehandelt hat.

Aber auch die Behauptung, niemand habe ihn vorhersehen können, ist noch kein Freispruch.

Verantwortung und Schuld sind nicht dasselbe.

Menschen können verantwortlich handeln und sich trotzdem irren. Komplexe Systeme können Schäden verursachen, ohne dass sich jeder Schaden auf schuldhaftes Verhalten zurückführen lässt.

Gerade deshalb genügt der Blick zurück nicht.

Wenn nicht jeder Fehler vorhersehbar ist, bekommt Verantwortung eine zweite Richtung.

Vor einer Entscheidung bedeutet sie, bekannte Risiken ernst zu nehmen, Systeme sorgfältig zu prüfen, Zuständigkeiten zu klären und Menschen nur das zuzurechnen, worauf sie tatsächlich Einfluss nehmen können.

Nach einem unerwarteten Ereignis zeigt sich Verantwortung darin, ob ein Fehler sichtbar und dokumentiert wird, ob andere davon erfahren und ob daraus Konsequenzen für vergleichbare Fälle, Verfahren und Systeme entstehen.

Kein einzelner Arzt kann das leisten.

Hier wird Verantwortung institutionell.

Eine verantwortliche Ordnung muss deshalb nicht nur versuchen, Fehler zu verhindern. Sie muss auch Bedingungen schaffen, unter denen unerwartete Fehler möglichst erkannt werden und aus ihnen gelernt werden kann.

Das ist keine Entschuldigung für Fehler. Es ist die Konsequenz daraus, dass vollständige Sicherheit nicht erreichbar ist.

Wo niemand alles wissen kann, wird Korrigierbarkeit zu einer Bedingung von Verantwortung.

Menschen haben Verantwortung bisher nicht immer gern getragen. Sie haben sich auf Regeln berufen, auf Vorgesetzte, Verfahren, Statistiken und Sachzwänge.

„Ich habe mich an die Vorschrift gehalten.“

„Das Verfahren sieht es so vor.“

„Die Zahlen sprachen dafür.“

Technische Systeme erfinden diese Möglichkeit der Entlastung nicht. Und es wäre falsch, bereits im Vertrauen auf ein technisches System eine Flucht vor Verantwortung zu sehen.

Wenn ein System nachweislich zuverlässiger urteilt, kann es verantwortungslos sein, seine Empfehlung zu ignorieren.

Das Problem beginnt dort, wo aus einem guten Grund, einem System zu folgen, die Behauptung wird, für die Folgen nicht mehr verantwortlich zu sein.

Oder dort, wo Verantwortung einem Menschen zugerechnet wird, obwohl er kaum Einfluss auf die Bedingungen der Entscheidung besitzt.

Auch die entgegengesetzte Ausrede bleibt möglich:

„Das konnte niemand wissen.“

Keine dieser Antworten genügt für sich.

Verantwortung verlangt weder vollständige Gewissheit noch vollständige Kontrolle.

Sie verlangt, genauer zu bestimmen, wofür Menschen und Institutionen unter den Bedingungen ihres jeweiligen Wissens, ihrer Aufgaben und ihrer Handlungsmöglichkeiten einstehen müssen.

Und sie verlangt, die Grenzen dieses Wissens nicht zum Ort werden zu lassen, an dem Verantwortung verschwindet.

Wer entscheidet?

Damit kehren wir zur Ausgangsfrage zurück.

Wer über die Behandlung des Patienten entschieden hat, lässt sich möglicherweise nicht mehr auf einen einzigen Beteiligten reduzieren.

Das muss es auch nicht.

Entscheidungen können verteilt entstehen.

Verantwortung kann ebenfalls verteilt sein.

Aber beides ist nicht dasselbe.

Wer Verantwortung trägt, bestimmt sich nicht allein danach, wer am Ende entscheidet oder unterschreibt. Entscheidend ist, was Menschen und Institutionen wissen konnten, welche Aufgaben sie hatten und worauf sie tatsächlich Einfluss nehmen konnten.

Das ist keine Formel, die für jeden einzelnen Fall bereits die Antwort liefert.

Sie bestimmt, wonach gefragt werden muss.

Und auch das verhindert Irrtümer nicht.

Ein Arzt kann sorgfältig handeln. Ein System kann nach bestem verfügbarem Wissen geprüft sein. Eine Institution kann vernünftige Verfahren geschaffen haben.

Und trotzdem kann etwas geschehen, das vorher nicht erkennbar war.

Verantwortung bedeutet deshalb nicht, jeden Irrtum verhindern zu können. Sie zeigt sich auch darin, was nach einem Irrtum geschieht: ob er sichtbar gemacht oder verborgen wird, ob aus ihm gelernt wird und ob sich die Bedingungen verändern, unter denen die nächste Entscheidung getroffen wird.

Künstliche Intelligenz verändert damit nicht nur die Frage, wer entscheidet.

Sie zwingt genauer zu bestimmen, wer wofür verantwortlich sein kann.

Verantwortung zeigt sich deshalb in beidem: darin, wofür Menschen und Institutionen bei einer Entscheidung einstehen müssen – und darin, was sie aus deren Folgen machen.

Weiterdenken

Macht & Gestaltung

Ein System kann eine bessere Empfehlung geben, ohne selbst Verantwortung übernehmen zu können. Was geschieht, wenn technische Systeme Entscheidungen zunehmend vorbereiten – während die Verantwortung beim Menschen bleibt?

→ Zum Themenraum Macht & Gestaltung

← Zurück zu KI & Gegenwart