Am Morgen zeigt die Wetter-App eine Warnung.
Am Nachmittag soll ein schweres Gewitter über die Region ziehen. Starkregen, Sturmböen, möglicherweise Überschwemmungen.
Noch ist der Himmel blau.
Trotzdem beginnt die Prognose bereits, die Gegenwart zu verändern. Menschen sagen Ausflüge ab. Behörden sperren Straßen. Veranstalter räumen Plätze. Vielleicht werden Bewohner gefährdeter Gebiete aufgefordert, ihre Häuser zu verlassen.
Wenn das Unwetter tatsächlich kommt, werden manche seiner Folgen gerade deshalb nicht eintreten, weil es vorhergesagt wurde.
Die Prognose hat das Wetter nicht verändert.
Aber sie hat verändert, wie Menschen ihm begegnen.
Das ist eine vertraute Funktion von Prognosen. Wir versuchen etwas über die Zukunft zu wissen, damit wir in der Gegenwart besser handeln können.
Doch nicht jede Prognose steht ihrem Gegenstand so gegenüber wie die Wettervorhersage dem Wetter.
Eine Woche vor einer Wahl werden neue Umfragen veröffentlicht.
Eine Partei liegt deutlich vorn. Eine andere verliert. Eine kleinere Partei bewegt sich nahe an einer Schwelle, die darüber entscheiden könnte, ob sie künftig im Parlament vertreten sein wird.
Eine Wählerin sieht die Zahlen.
Eigentlich wollte sie die kleinere Partei wählen. Nun beginnt sie zu rechnen. Hat ihre Stimme dort noch eine Wirkung? Sollte sie lieber eine andere Partei unterstützen? Oder ist gerade jetzt ihre Stimme besonders wichtig?
Die Umfrage nimmt ihr die Entscheidung nicht ab.
Aber sie ist zu einem Teil dieser Entscheidung geworden.
Ob Menschen wegen einer Umfrage anders wählen, lässt sich nicht allgemein beantworten. Manche lassen sich davon kaum beeinflussen, andere berücksichtigen Umfragen bei taktischen Entscheidungen. Auch die Art, wie ein Trend dargestellt wird, kann eine Rolle spielen.
Entscheidend ist deshalb nicht, dass eine Wahlprognose das Wahlergebnis verändert.
Entscheidend ist, dass sie es verändern kann.
Denn die Menschen, deren Verhalten vorausgesagt werden soll, können von der Vorhersage erfahren – und darauf reagieren.
Wir beobachten, was Menschen wahrscheinlich tun werden.
Wir veröffentlichen diese Beobachtung.
Menschen erfahren davon.
Und einige berücksichtigen dieses Wissen bei dem Verhalten, das wir vorherzusagen versuchten.
Die Prognose steht der Wirklichkeit nicht mehr vollständig gegenüber.
Sie ist in ihr angekommen.
Doch selbst das setzt noch etwas voraus: Die Wählerin kennt die Prognose.
Bei anderen Vorhersagen über Menschen ist nicht einmal das notwendig.
Ein Mensch beantragt einen Kredit.
Die Bank versucht abzuschätzen, wie wahrscheinlich es ist, dass er ihn zurückzahlen wird. Dafür können Einkommen, bisheriges Zahlungsverhalten, bestehende Verpflichtungen und andere Merkmale ausgewertet werden.
Am Ende steht eine Wahrscheinlichkeit über etwas, das noch nicht geschehen ist.
Trotzdem kann sie bereits heute Folgen haben.
Der Kredit wird bewilligt.
Er wird abgelehnt.
Der Zinssatz verändert sich.
Der Antragsteller muss die Berechnung selbst nicht kennen. Vielleicht sieht er keinen Score und keine Wahrscheinlichkeit.
Er begegnet nur ihrer Folge.
Damit verändert sich etwas gegenüber der Wahl noch einmal.
Dort kann ein Mensch sein Verhalten an einer Prognose ausrichten.
Hier können andere aufgrund einer Prognose über ihn handeln – und dadurch seine Bedingungen verändern.
Eine mögliche Zukunft wird berechnet, und die Berechnung wird zu einem Faktor gegenwärtiger Möglichkeiten.
Daran ist zunächst nichts Verwerfliches. Banken müssen Risiken einschätzen. Versicherungen kalkulieren Wahrscheinlichkeiten. Ärzte beurteilen Krankheitsrisiken. Behörden bereiten sich auf Gefahren vor.
Die schwierige Frage lautet deshalb nicht, ob Prognosen Folgen haben dürfen.
Sie lautet:
Was darf eine Wahrscheinlichkeit über das entscheiden, was einem Menschen möglich wird?
Die naheliegende Kritik richtet sich auf Fehler.
Vielleicht sind die Daten unvollständig. Vielleicht benachteiligt das Modell bestimmte Gruppen. Vielleicht sind seine Kriterien undurchsichtig. Vielleicht wurde ein Mensch falsch eingeordnet.
Aber nehmen wir den besseren Fall.
Das Modell ist transparent.
Seine Daten sind korrekt.
Es diskriminiert nicht aufgrund unzulässiger Merkmale.
Und seine Prognosen sind nachweislich sehr gut.
Gerade dann wird die Frage schwieriger.
Denn aus der Tatsache, dass ein Merkmal etwas zuverlässig vorhersagt, folgt noch nicht, dass es für jede Entscheidung verwendet werden sollte.
Eine Prognose kann statistisch gut und ihre Verwendung trotzdem fragwürdig sein.
Genauigkeit beendet die Frage nach Legitimität nicht.
Doch die Verwendung einer Prognose kann noch etwas anderes tun.
Sie kann verändern, was anschließend geschieht.
Kehren wir zum Kredit zurück.
Ein Modell berechnet ein erhöhtes Ausfallrisiko. Aufgrund dieser Prognose verlangt die Bank einen höheren Zinssatz.
Damit verändert sich die Situation des Kreditnehmers. Seine monatliche Belastung steigt.
Diese höhere Belastung kann wiederum die Wahrscheinlichkeit erhöhen, dass er Schwierigkeiten bekommt, den Kredit zurückzuzahlen.
Für solche Rückwirkungen gibt es in der Forschung zu maschinellem Lernen den Begriff performative prediction: Vorhersagen können, wenn Entscheidungen auf ihnen beruhen, die Bedingungen dessen beeinflussen, was sie vorherzusagen versuchen.
Später fällt der Kreditnehmer tatsächlich aus.
Das Modell hatte recht.
Oder?
Zwischen Prognose und Ergebnis wurde aufgrund der Prognose gehandelt. Und dieses Handeln hat die Bedingungen verändert, unter denen das prognostizierte Ereignis eintreten konnte.
Beim Wetter bleibt diese Trennung weitgehend erhalten. Ob wir wegen der Warnung zu Hause bleiben, entscheidet nicht darüber, ob das Gewitter entsteht.
Bei Prognosen über Menschen kann das anders sein.
Eine Prognose kann sich bestätigen, ohne dass ihre Bestätigung beweist, dass sie eine von ihr unabhängige Wirklichkeit richtig beschrieben hat.
Der Wissenschaftsphilosoph Ian Hacking hat für einen verwandten Vorgang den Begriff des looping effect geprägt.
Klassifikationen von Menschen können beeinflussen, wie diese Menschen verstanden und behandelt werden – und manchmal auch, wie sie sich selbst verstehen und verhalten. Dadurch kann sich verändern, was die ursprüngliche Klassifikation beschreiben sollte. Hacking sprach deshalb von moving targets: beweglichen Zielen.
Algorithmische Prognosen sind nicht einfach dasselbe.
Ein Mensch muss einen Score weder kennen noch an ihn glauben. Es genügt, dass andere aufgrund dieser Prognose handeln.
Das Ziel bewegt sich dann nicht unbedingt, weil der Mensch der Beschreibung glaubt.
Es kann sich bewegen, weil andere aufgrund dieser Beschreibung seine Bedingungen verändern.
Noch einmal komplizierter wird es, wenn die Geschichte mit dem Ergebnis nicht endet.
Ein Modell erstellt eine Prognose.
Aufgrund der Prognose wird gehandelt.
Die Handlung verändert Bedingungen.
Unter diesen Bedingungen entstehen Ergebnisse.
Und diese Ergebnisse können zu neuen Daten werden, aus denen spätere Prognosen lernen.
Damit kann ein Kreislauf entstehen, in dem Prognose, Entscheidung und beobachtete Wirklichkeit nicht mehr unabhängig voneinander verlaufen.
Das muss kein Problem sein.
Eine medizinische Prognose erkennt vielleicht ein hohes Krankheitsrisiko. Ärzte greifen ein. Die Krankheit tritt nicht ein.
Die Prognose hat sich nicht bestätigt.
Und gerade darin könnte ihr Erfolg liegen.
Auch die Unwetterwarnung vom Beginn funktioniert so. Menschen werden evakuiert. Das Unwetter kommt, aber seine schlimmsten Folgen bleiben aus.
Prognosen können Bedingungen verändern, damit etwas geschieht.
Und sie können Bedingungen verändern, damit etwas gerade nicht geschieht.
Deshalb genügt das spätere Ergebnis nicht immer, um eine Prognose zu beurteilen.
Wir müssen auch wissen, was zwischen Prognose und Ergebnis geschehen ist.
Einige Zeit später steht in den Daten der Bank ein Ausfall.
Vielleicht wird dieser Fall eines Tages Teil jener Daten sein, aus denen eine neue Prognose entsteht.
Was in diesem Datenpunkt nicht mehr sichtbar ist, ist die Geschichte, die zu ihm geführt hat:
die Risikoprognose, die Entscheidung der Bank, der höhere Zinssatz, die veränderte Belastung – und schließlich der Ausfall.
Nichts davon beweist, dass die ursprüngliche Prognose falsch war.
Vielleicht war sie ausgezeichnet.
Aber der Ausfall beweist ebenso wenig, dass lediglich eingetreten ist, was ohnehin geschehen wäre.
Zwischen Prognose und Ergebnis lag eine Entscheidung.
Und diese Entscheidung gehörte zu den Bedingungen jener Wirklichkeit, die später als Ergebnis gemessen wurde.
Vielleicht müssen wir Prognosen deshalb nicht nur danach beurteilen, ob sie sich bestätigen.
Wir müssen auch fragen:
Welche Geschichte hat ihre Bestätigung?
Am Morgen war da nur eine Warnung auf dem Bildschirm.
Der Sturm würde kommen oder nicht, unabhängig davon, ob jemand an sie glaubte.
Bei Prognosen über Menschen kann das anders sein.
Was wir über die Zukunft zu wissen glauben, kann zu einer der Bedingungen werden, unter denen diese Zukunft entsteht.
Macht & Gestaltung
Prognosen können beschreiben, was wahrscheinlich geschehen wird. Doch sobald auf ihrer Grundlage gehandelt wird, entsteht eine andere Frage: Wer entscheidet, welche Prognosen Folgen haben dürfen – und wer trägt dafür Verantwortung?