Bias in AI

Im Jahr 2016 veröffentlichte Microsoft einen Twitter Bot namens Tay, welcher eigene Tweets verfassen und sich so zu unterschiedlichen Themen äußern konnte. Diese Fähigkeit erlernte er unter anderem durch Gespräche bzw. in der Interaktion mit anderen Twitter-Nutzern. Nun haben soziale Netzwerke oft auch eine sehr dunkle Seite, in der viele beleidigende, sexistische oder rassistische Kommentare zu unterschiedlichen Themen zu finden sind. So kam es, dass Tay sehr schnell lernte, auch diese Seite der sozialen Netzwerke zu übernehmen und sich entsprechend zu äußern. Tay wurde nach einer sehr kurzen Zeit wieder abgeschaltet.

Dieses Beispiel zeigt, wie Daten, auf denen eine künstliche Intelligenz (AI) trainiert wird, das Verhalten eben dieser beeinflussen. Zu Beginn bestand der Datensatz aus harmlosen Tweets und Tay verhielt sich entsprechend. Als der Datensatz dann durch bösartige Aussagen angereichert wurde, hat sich das Verhalten von Tay entsprechend angepasst – und er begann, sich ebenfalls bösartig zu äußern.

Es finden sich immer wieder Beispiele für künstliche Intelligenzen, die sich nicht so verhalten, wie sie es im Idealfall sollten. Beispielsweise gibt es unterschiedliche Gesichtserkennungsalgorithmen, die Probleme bei der Unterscheidung von Menschen mit dunkler Hautfarbe haben. Wie wir bei Tay gut sehen können, liegt die Ursache in der Datenbasis, denn letztlich spiegeln die Vorhersagen einer AI die Struktur der verwendeten Trainingsdaten wider. Um dies zu verdeutlichen, schauen wir uns einmal an, wie eine AI lernt Entscheidungen zu treffen.

In den meisten Fällen wird eine AI auf einem bestimmten Datensatz trainiert. Das heißt, ihr wird eine möglichst große Anzahl an Beispielen gezeigt und sie versucht nun, anhand dieser Beispiele Gemeinsamkeiten abzuleiten, um eine Entscheidung zu treffen. Hierbei wird eine vorher definierte Zielfunktion minimiert, welche dafür sorgen soll, dass die AI ein passendes Verhalten erlernt. Dies hat folgende direkte Implikationen:

• Eine AI lernt, was die Zielfunktion am stärksten minimiert. Somit lernt sie oft die einfachsten Unterscheidungskriterien. Dies müssen nicht logische Kriterien sein, sondern können auch zufällige oder ungewollte Zusammenhänge in den Daten sein.
• Eine AI lernt Zusammenhänge anhand der Verteilung der Daten. Liegen hier Ungleichgewichte vor, so lernt die AI, diese wiederzugeben. Ändert sich die Verteilung, so können die Ergebnisse der AI schlechter werden.

Bei beiden Punkten spielen die Daten eine entscheidende Rolle. Sind sie allgemein genug, so dass die AI die relevanten Unterscheidungsmerkmale erlenen kann? Sind sie ausgeglichen genug, so dass die AI bei allen Teilaspekten ein gutes Ergebnis liefern kann? Oder beinhalten die Daten etwa ein Bias, eine systematische Verzerrung, welche zu einem ungewünschten Verhalten führen kann?

Wie bereits gesehen, spielen die Daten beim Trainieren einer AI eine entscheidende Rolle. Diese können je nach Problemstellung aus unterschiedlichen Quellen stammen. Denkbar wären interne Quellen, wie Datenbanken mit Verkaufsinformationen, oder externe Quellen, wie Bildersuchmaschinen. Um der AI zu zeigen, was sie lernen soll, müssen die Daten mit einer entsprechenden Zielgröße annotiert werden. Dies kann automatisiert geschehen oder per Hand. In diesem Gesamtprozess gibt es verschiedene Stellen, bei denen ein Bias entstehen kann:

• Handelt es sich um Verkaufsdaten, könnte eine Verzerrung bezüglich des größten Kunden vorliegen.
• Handelt es sich um Fotografien, könnte eine Verzerrung bezüglich Aufnahmeort, Kamera, Tages- oder Jahreszeit vorliegen.
• Handelt es sich um einen kleinen Datensatz, kann eine Verzerrung bezüglich einzelner, eher zufälliger Eigenschaften / Werte vorkommen.
• Handelt es sich um Daten, die von einer Person annotiert wurden, könnte eine Verzerrung durch deren Herkunft, Ansicht oder Meinung entstehen.
• Handelt es sich um automatisch annotierte Daten, könnte eine Verzerrung bezüglich dieses Algorithmus vorliegen.

Es gibt also unterschiedliche Wege, wie ein Bias in den Daten entstehen kann und es gibt unterschiedlichste Bereiche innerhalb dieser  Daten, wo er zu finden sein kann. Nicht alle Verzerrungen führen zwangsläufig zu einer fehlerhaften AI. Doch wenn der Bias zu stark und somit die AI nicht fähig ist zu generalisieren, kann dies entsprechende Auswirkungen haben.

Wichtig ist, bei der Betrachtung eines Bias das Anwendungsgebiet der AI nicht aus den Augen zu verlieren, denn die Daten müssen zum Anwendungsfall der AI passen. Trainiert man zum Beispiel eine AI auf Text von Webseiten mit .de-Kennung, so ist  davon auszugehen, dass in den Daten ein deutlicher Bias bezüglich der deutschen Sprache zu finden ist. Je nach Anwendungsfall kann die AI problemlos eingesetzt werden: Wendet man sie  auf Webseiten mit der Kennung .at an, wird sie voraussichtlich gut funktionieren. Bei Webseiten mit einer .com-Kennung hingegen würde wahrscheinlich der Bias in den Daten zu stark sein und es sind deutlich schlechtere Ergebnisse zu erwarten, selbst wenn es in der .de-Domäne Webseiten auf Englisch gibt.

Problematische Daten und deren Konsequenzen beeinflussen nicht nur das Training einer künstlichen Intelligenz. Immer wenn man mit großen Datenmengen arbeitet und auf Basis dieser etwas für Gruppen ableitet, die nicht repräsentativ in den Daten vorkommen, muss man sich dessen bewusst sein und eventuelle Korrekturfaktoren einführen.

Ein Beispiel, wo ein Ungleichgewicht in den Daten möglicherweise gravierende Folgen haben kann, sind Studien zur Dosierung von Medikamenten.  Diese Studien werden durchgeführt, um die korrekte Dosierung von Medikamenten zu bestimmen. In der Vergangenheit wurden hier häufig zu einem großen Teil Männer als Teilnehmer verwendet. Dies kann allerdings dazu führen, dass die entsprechenden Medikamente bei Frauen falsch dosiert werden, weil sie in der Studie unterrepräsentiert waren.

Bei der Vorbereitung von Trainingsdaten für eine AI sollte man aus den oben genannten Gründen die Daten gut auswählen und eventuell optimieren. Man sollte insbesondere darauf achten, dass die Daten zu dem Anwendungszweck passen. Das bedeutet:

• Daten verwenden, welche für die Entscheidung auch relevant sind (Benötigt man zum Beispiel das Geschlecht einer Person oder sollte dies für die Entscheidung irrelevant sein?)
• Daten verwenden, welche möglichst divers sind (Decken meine Daten möglichst viele Situationen ab oder gibt es Gemeinsamkeiten?)
• Werte, die besonders selten vorkommen, eventuell aussortieren oder stärker gewichten
• zum Testen der künstlichen Intelligenz möglichst realistische Daten verwenden, welche dem Anwendungsfall möglichst nahekommen
• beim Auswerten der AI nicht nur eine allgemeine Zielgröße betrachten, sondern auch Teilgrößen wie die Genauigkeit in einzelnen Klassen
• versuchen zu verstehen, wie eine AI zu einer Entscheidung kommt und herauszufinden, was die Ursache für eine fehlerhafte Entscheidung ist
• verstehen, woher die Daten kommen und auf welcher Grundlage eventuelle Entscheidungen getroffen wurden

Hat man eine AI trainiert und entdeckt ein Bias in den Daten, so kann dies als Startpunkt verwendet werden, um herauszufinden wie der Bias entstanden ist. Eine Ursache kann darin bestehen, dass der darunterliegende Prozess, also wie die Daten entstanden sind, problematisch ist. So können aufgrund von AI-Entscheidungen Lehren für den zugrundeliegenden Prozess gezogen werden, um diesen eventuell zu optimieren.

Liegt eine offensichtliche Verzerrung in den Daten vor, ist es sinnvoll, diese entweder zu beheben oder Teile der Daten stärker zu gewichten. Durch eine stärkere Gewichtung von unterrepräsentierten Eigenschaften kann die AI sich darauf konzentrieren, diesen Teil der Daten besser abzudecken und so den Bias auszugleichen. Ist eine Verzerrung nicht offensichtlich,  besteht die Möglichkeit, die AI im Nachhinein anhand der folgenden Methoden zu untersuchen:

• Fairness-Indikatoren: Verschiedene Bibliotheken, unter anderem von Tensorflow, bieten an, bestimmte Fairness-Indikatoren, beispielsweise für Klassifikationsprobleme, zu berechnen. Diese können dann einen Hinweis darauf geben, ob die AI alle Klassen gleich fair behandelt oder Präferenzen für eine Klasse entwickelt hat.
•  Mithilfe von Explainable AI  könnte analysiert werden, wie die AI zu ihrer Entscheidung gekommen ist. So können wir ableiten, ob die AI gewisse Eigenschaften bevorzugt.

Die Beispiele in diesem Beitrag zeigen, was ein Bias in den Daten ist, wie er entstehen kann, wie eine AI darauf reagiert und was man beim Arbeiten mit Daten beachten sollte, um Bias zu vermeiden.
Zu Guter Letzt sei dennoch darauf hingewiesen, dass ein Bias in den Daten auch als Chance gesehen werden kann: Zum einen kann er verwendet werden, um die AI in eine gewisse Richtung zu lenken. Zum anderen kann er helfen, die darunterliegenden Prozesse zu verstehen, um künftig Maßnahmen zum Verhindern eines Bias treffen zu können.