Ein Arzt steht vor einer Entscheidung.
Die Befunde seines Patienten sind nicht eindeutig. Aufgrund seiner Erfahrung hält er Behandlung A für richtig. Ein diagnostisches System empfiehlt Behandlung B.
Das allein wäre noch kein ungewöhnlicher Konflikt. Ärzte arbeiten seit langem mit Laborwerten, Leitlinien, statistischen Modellen und technischen Untersuchungen.
Doch in diesem Fall kommt etwas hinzu:
Das System hat sich bei vergleichbaren Diagnosen als zuverlässiger erwiesen als der einzelne Arzt.
Was wäre jetzt verantwortliches Handeln?
Der eigenen Erfahrung folgen?
Oder der Empfehlung eines Systems, das mehr vergleichbare Fälle berücksichtigen kann, als ein Mensch jemals gesehen haben wird?
Die Frage wird noch schwieriger, wenn es nicht nur um unterschiedliche Einschätzungen geht.
Der Patient kann sterben.
Es wäre beruhigend, die Grenze eindeutig zu ziehen.
Maschinen berechnen.
Menschen entscheiden.
Doch je leistungsfähiger technische Systeme werden, desto weniger genügt diese Unterscheidung.
Ein System kann Wahrscheinlichkeiten vergleichen, Muster erkennen und Risiken gegeneinander abwägen. In bestimmten Bereichen kann seine Empfehlung zuverlässiger sein als das Urteil eines einzelnen Menschen.
Dann wäre es nicht notwendig verantwortungsvoll, auf der eigenen Entscheidung zu bestehen.
Im Gegenteil.
Wer eine nachweislich bessere technische Empfehlung ignoriert, nur weil sie von einer Maschine stammt, könnte gerade dadurch unverantwortlich handeln.
Die Verwendung technischer Systeme bedeutet deshalb nicht automatisch einen Verlust menschlicher Verantwortung.
Sie kann Teil verantwortlichen Handelns sein.
Menschen haben Entscheidungen ohnehin nie vollkommen allein getroffen. Sie verlassen sich auf Erfahrungen anderer, auf wissenschaftliche Erkenntnisse, Messgeräte, Regeln, Experten und Institutionen.
Künstliche Intelligenz erfindet die Delegation des Urteils nicht.
Aber sie verändert ihr Ausmaß.
Denn erstmals können technische Systeme nicht nur Informationen bereitstellen, sondern selbst Bewertungen und Empfehlungen erzeugen, die dem menschlichen Urteil überlegen sein können.
Damit verändert sich die Frage.
Nicht mehr nur:
Was empfiehlt die Maschine?
Sondern:
Was bedeutet eigenes Urteil, wenn es vernünftig sein kann, einem fremd erzeugten Urteil zu folgen?
Nehmen wir an, der Arzt folgt dem System.
Behandlung B wird durchgeführt.
Der Patient stirbt.
Wer trägt die Verantwortung?
Der Arzt, der die Empfehlung übernommen hat?
Das Krankenhaus, das das System eingeführt hat?
Der Hersteller, der es entwickelt hat?
Diejenigen, die seine Verwendung geregelt haben?
Oder das System selbst?
Die letzte Antwort wirkt zunächst naheliegend. Schließlich hat das System die Empfehlung erzeugt.
Aber Verursachung und Verantwortung sind nicht dasselbe.
Eine Maschine kann an einer Entscheidung beteiligt sein. Ihre Berechnung kann Folgen haben. Sie kann Fehler produzieren.
Doch Verantwortung bedeutet mehr.
Wer Verantwortung trägt, muss grundsätzlich für sein Handeln einstehen können. Von ihm können Gründe verlangt werden. Sein Verhalten kann ihm zugerechnet werden. Er kann verpflichtet werden, Folgen zu tragen.
Ein System kann Gründe ausgeben.
Aber es steht für diese Gründe nicht ein.
Eine Maschine kann an einer Entscheidung beteiligt sein. Aber Beteiligung und Verantwortung sind nicht dasselbe.
Eine Institution kann auf dieses Problem reagieren.
Ein Krankenhaus kann festlegen, dass ein technisches System lediglich Empfehlungen gibt und die endgültige Entscheidung beim Arzt bleibt. Es kann verlangen, dass ein Arzt die Empfehlung prüft, bestätigt oder eine Abweichung begründet.
Am Ende steht eine Unterschrift.
Damit kann institutionell oder rechtlich bestimmt werden, wem eine Entscheidung zugerechnet wird.
Aber die Unterschrift beantwortet noch nicht, wo das Urteil entstanden ist.
Stellen wir uns vor, der Arzt folgt dem System fast immer.
Nicht aus Bequemlichkeit.
Sondern weil die Erfahrung zeigt, dass dessen Empfehlungen zuverlässiger sind.
Das Krankenhaus erwartet seine Verwendung. Der Arzt kennt die Grundlagen des Systems, kann aber nicht jeden einzelnen Schritt nachvollziehen, der zu einer konkreten Empfehlung geführt hat.
Trotzdem unterschreibt er.
Formal bleibt die Entscheidung menschlich.
Aber wie viel eigenes Urteil verlangt diese Entscheidung noch?
Und was genau bestätigt die Unterschrift?
Dass der Arzt selbst zu diesem Ergebnis gekommen ist?
Oder dass er es nach Prüfung für vernünftig hält, sich auf ein anderes Urteil zu verlassen?
Diese Unterscheidung wird wichtiger.
Das Recht kann Verantwortung zurechnen. Es beantwortet damit noch nicht, wie das Urteil entstanden ist.
Nun verändern wir den Fall.
Der Arzt vertraut seiner Erfahrung und entscheidet sich gegen die Empfehlung des Systems.
Behandlung A wird durchgeführt.
Der Patient stirbt.
Später zeigt sich, dass Behandlung B mit hoher Wahrscheinlichkeit erfolgreicher gewesen wäre.
Ist der Arzt jetzt verantwortlicher, weil er selbst entschieden hat?
Wohl kaum.
Vielleicht wird ihm gerade vorgeworfen werden, dass er eine zuverlässigere Empfehlung ignoriert hat.
Damit gerät eine verbreitete Forderung unter Druck:
Am Ende müsse eben immer ein Mensch entscheiden. Das klingt zunächst wie eine Sicherung von Verantwortung. Aber menschliche Beteiligung garantiert noch kein besseres Urteil.
Ein Mensch kann voreingenommen sein, übermüdet, unerfahren oder schlicht im Irrtum.
Technische Systeme können menschliche Fehler korrigieren.
Sie können Entscheidungen konsistenter machen und Wissen verfügbar machen, das einem einzelnen Menschen fehlt. Deshalb kann die Lösung nicht darin bestehen, technische Systeme möglichst weit von wichtigen Entscheidungen fernzuhalten.
Die schwierigere Aufgabe besteht darin, zu bestimmen, wie menschliches und technisches Urteil miteinander verbunden werden sollen.
Vielleicht liegt ein Teil des Problems bereits in der Frage.
„Wer entscheidet?“ unterstellt, dass sich am Ende ein einzelner Entscheider finden lassen müsse.
Aber auch bisher entstanden wichtige Entscheidungen selten so.
Der Arzt urteilt auf Grundlage wissenschaftlicher Studien, diagnostischer Geräte, Gespräche mit Kollegen, medizinischer Leitlinien und eigener Erfahrung.
Ein Krankenhaus schafft Verfahren.
Fachgesellschaften entwickeln Standards.
Gesetzgeber bestimmen Grenzen.
Versicherungen und Gesundheitssysteme setzen Rahmenbedingungen.
Entscheidungen entstehen innerhalb von Strukturen.
Künstliche Intelligenz macht diese Strukturen nicht erst notwendig. Aber sie kann einen immer größeren Teil des fachlichen Urteils innerhalb dieser Strukturen übernehmen. Dadurch wird sichtbar, was der Satz „Der Arzt entscheidet“ schon immer vereinfachte:
Eine Entscheidung kann einem Menschen zugerechnet werden, obwohl an ihrer Entstehung viele beteiligt waren.
Mit künstlicher Intelligenz kommt nun ein Beteiligter hinzu, der Empfehlungen erzeugen und Handlungen beeinflussen kann, selbst aber keine Verantwortung im menschlichen Sinn übernimmt.
Das verändert die Architektur der Verantwortung.
Gerade deshalb wird die institutionelle und rechtliche Gestaltung entscheidend. Eine Gesellschaft kann festlegen, wer ein System einsetzen darf.
Wer seine Empfehlungen prüfen muss.
Wann Menschen von ihnen abweichen dürfen oder müssen.
Wer dokumentiert.
Wer kontrolliert.
Und wer für Schäden einzustehen hat.
Solche Regeln lösen nicht jede moralische Frage. Aber sie verhindern, dass technische Beteiligung zu einem Raum wird, in dem Verantwortung verschwindet.
Denn genau diese Gefahr besteht.
Der Arzt verweist auf das System.
Das Krankenhaus auf den Hersteller.
Der Hersteller auf die vorgesehenen Einsatzbedingungen.
Die Verantwortlichen auf die statistische Zuverlässigkeit.
Jede einzelne Erklärung kann nachvollziehbar sein.
Und trotzdem ist ein Mensch gestorben.
Verantwortung kann sich verteilen. Die Folgen tun es nicht.
Das gilt nicht nur für Medizin. Ein selbstfahrendes Fahrzeug trifft auf eine Situation, in der ein Mensch verletzt wird. Ein automatisiertes System beeinflusst, ob jemand einen Kredit erhält. Eine Behörde verwendet technische Bewertungen bei Entscheidungen über Menschen.
Je mehr Beteiligte und Systeme an solchen Entscheidungen mitwirken, desto wichtiger wird nicht nur ihre technische Zuverlässigkeit.
Es muss auch geklärt bleiben, wer für ihre Verwendung einzustehen hat.
Vielleicht liegt darin eine der unbequemeren Einsichten künstlicher Intelligenz.
Menschen haben Verantwortung auch bisher nicht immer gern getragen. Sie haben sich auf Regeln berufen, auf Vorgesetzte, Verfahren, Statistiken und Sachzwänge.
„Ich habe mich an die Vorschrift gehalten.“
„Das Verfahren sieht es so vor.“
„Die Zahlen ließen keine andere Entscheidung zu.“
Technische Systeme erfinden diese Entlastung nicht. Aber sie schaffen eine neue Möglichkeit, sie zu perfektionieren. Denn je leistungsfähiger ein System wird, desto vernünftiger kann es erscheinen, ihm zu folgen.
Und desto leichter kann aus einem guten Grund für die Verwendung eines Systems eine Ausrede dafür werden, die Verantwortung für seine Folgen nicht mehr als die eigene zu betrachten.
Hier zeigt die Maschine etwas über den Menschen.
Nicht nur seine Bereitschaft, Entscheidungen abzugeben. Sondern auch seinen Wunsch, von der Last unsicherer Entscheidungen entlastet zu werden.
Doch gerade diese Last gehörte immer zur Verantwortung.
Nicht weil Menschen alles wissen können.
Sondern weil sie handeln müssen, obwohl sie es nicht können.
Vielleicht wird die Zukunft deshalb weniger davon geprägt sein, ob Menschen oder Maschinen entscheiden. Viele Entscheidungen werden gemeinsam entstehen: aus menschlichem Urteil, technischen Empfehlungen, institutionellen Regeln und automatisierten Verfahren.
Die entscheidende Frage lautet dann nicht mehr, ob eine Entscheidung ausschließlich menschlich war.
Sondern ob Verantwortung dort noch auffindbar bleibt, wo Entscheidungen verteilt entstehen.
Ein Krankenhaus kann einem Arzt eine Unterschrift abverlangen.
Ein Gesetz kann Haftung festlegen.
Eine Institution kann Verfahren definieren.
All das ist notwendig.
Aber keine dieser Regelungen macht die Maschine selbst verantwortlich.
Sie ordnet Verantwortung Menschen und Institutionen zu, die entschieden haben, dass und unter welchen Bedingungen ein solches System handeln oder empfehlen darf.
Darin liegt die Grenze der Delegation.
Eine Gesellschaft kann Berechnungen technischen Systemen überlassen.
Sie kann ihnen Empfehlungen, Auswahlprozesse und in bestimmten Bereichen auch Handlungen übertragen.
Sie kann sogar zu dem Ergebnis kommen, dass es verantwortungsvoller ist, einer Maschine zu folgen als einem einzelnen Menschen.
Was sie nicht tun kann, ist mit der Entscheidung auch jede Verantwortung an die Maschine weiterzugeben.
Die gefährlichste Delegation beginnt nicht dort, wo Menschen Entscheidungen abgeben. Sondern dort, wo mit der Entscheidung auch die Verantwortung weitergereicht wird.