arrow arrow--cut calendar callback check chevron chevron--large cross cross--large download filter kununu linkedin magnifier mail marker menu minus phone play plus quote share xing

Bias in AI

Wie schlecht ausgewählte Daten eine künstliche Intelligenz beeinflussen

Im Jahr 2016 veröffentlichte Microsoft einen Twitter Bot namens Tay, welcher eigene Tweets verfassen und sich so zu unterschiedlichen Themen äußern konnte. Diese Fähigkeit erlernte er unter anderem durch Gespräche bzw. in der Interaktion mit anderen Twitter-Nutzern. Nun haben soziale Netzwerke oft auch eine sehr dunkle Seite, in der viele beleidigende, sexistische oder rassistische Kommentare zu unterschiedlichen Themen zu finden sind. So kam es, dass Tay sehr schnell lernte, auch diese Seite der sozialen Netzwerke zu übernehmen und sich entsprechend zu äußern. Tay wurde nach einer sehr kurzen Zeit wieder abgeschaltet.

Dieses Beispiel zeigt, wie Daten, auf denen eine künstliche Intelligenz (AI) trainiert wird, das Verhalten eben dieser beeinflussen. Zu Beginn bestand der Datensatz aus harmlosen Tweets und Tay verhielt sich entsprechend. Als der Datensatz dann durch bösartige Aussagen angereichert wurde, hat sich das Verhalten von Tay entsprechend angepasst – und er begann, sich ebenfalls bösartig zu äußern.

Es finden sich immer wieder Beispiele für künstliche Intelligenzen, die sich nicht so verhalten, wie sie es im Idealfall sollten. Beispielsweise gibt es unterschiedliche Gesichtserkennungsalgorithmen, die Probleme bei der Unterscheidung von Menschen mit dunkler Hautfarbe haben. Wie wir bei Tay gut sehen können, liegt die Ursache in der Datenbasis, denn letztlich spiegeln die Vorhersagen einer AI die Struktur der verwendeten Trainingsdaten wider. Um dies zu verdeutlichen, schauen wir uns einmal an, wie eine AI lernt Entscheidungen zu treffen.

Wie lernt eine AI?

In den meisten Fällen wird eine AI auf einem bestimmten Datensatz trainiert. Das heißt, ihr wird eine möglichst große Anzahl an Beispielen gezeigt und sie versucht nun, anhand dieser Beispiele Gemeinsamkeiten abzuleiten, um eine Entscheidung zu treffen. Hierbei wird eine vorher definierte Zielfunktion minimiert, welche dafür sorgen soll, dass die AI ein passendes Verhalten erlernt. Dies hat folgende direkte Implikationen:

  • Eine AI lernt, was die Zielfunktion am stärksten minimiert. Somit lernt sie oft die einfachsten Unterscheidungskriterien. Dies müssen nicht logische Kriterien sein, sondern können auch zufällige oder ungewollte Zusammenhänge in den Daten sein.
  • Eine AI lernt Zusammenhänge anhand der Verteilung der Daten. Liegen hier Ungleichgewichte vor, so lernt die AI, diese wiederzugeben. Ändert sich die Verteilung, so können die Ergebnisse der AI schlechter werden.

Bei beiden Punkten spielen die Daten eine entscheidende Rolle. Sind sie allgemein genug, so dass die AI die relevanten Unterscheidungsmerkmale erlenen kann? Sind sie ausgeglichen genug, so dass die AI bei allen Teilaspekten ein gutes Ergebnis liefern kann? Oder beinhalten die Daten etwa ein Bias, eine systematische Verzerrung, welche zu einem ungewünschten Verhalten führen kann?

Es hängt alles von den Daten ab

Wie bereits gesehen, spielen die Daten beim Trainieren einer AI eine entscheidende Rolle. Diese können je nach Problemstellung aus unterschiedlichen Quellen stammen. Denkbar wären interne Quellen, wie Datenbanken mit Verkaufsinformationen, oder externe Quellen, wie Bildersuchmaschinen. Um der AI zu zeigen, was sie lernen soll, müssen die Daten mit einer entsprechenden Zielgröße annotiert werden. Dies kann automatisiert geschehen oder per Hand. In diesem Gesamtprozess gibt es verschiedene Stellen, bei denen ein Bias entstehen kann:

  • Handelt es sich um Verkaufsdaten, könnte eine Verzerrung bezüglich des größten Kunden vorliegen.
  • Handelt es sich um Fotografien, könnte eine Verzerrung bezüglich Aufnahmeort, Kamera, Tages- oder Jahreszeit vorliegen.
  • Handelt es sich um einen kleinen Datensatz, kann eine Verzerrung bezüglich einzelner, eher zufälliger Eigenschaften / Werte vorkommen.
  • Handelt es sich um Daten, die von einer Person annotiert wurden, könnte eine Verzerrung durch deren Herkunft, Ansicht oder Meinung entstehen.
  • Handelt es sich um automatisch annotierte Daten, könnte eine Verzerrung bezüglich dieses Algorithmus vorliegen.

Es gibt also unterschiedliche Wege, wie ein Bias in den Daten entstehen kann und es gibt unterschiedlichste Bereiche innerhalb dieser  Daten, wo er zu finden sein kann. Nicht alle Verzerrungen führen zwangsläufig zu einer fehlerhaften AI. Doch wenn der Bias zu stark und somit die AI nicht fähig ist zu generalisieren, kann dies entsprechende Auswirkungen haben.

Beispiel: Unausgeglichenes Verhältnis von Klassen

Angenommen es liegt ein sehr unausgeglichener Datensatz vor. Dieser besteht zu 95% aus Bildern von Autos und zu 5% aus Bildern von Fahrrädern. Eine „AI“, die ein Bild immer als Auto klassifiziert, erreicht so eine Gesamtgenauigkeit von 95%, was auf dem ersten Blick ein sehr gutes Ergebnis wäre. Auf Klassenebene erreicht die AI dann allerdings eine Genauigkeit von 100% bei den Bildern von Autos, jedoch nur 0 % bei den Bildern von Fahrrädern.

Wichtig ist, bei der Betrachtung eines Bias das Anwendungsgebiet der AI nicht aus den Augen zu verlieren, denn die Daten müssen zum Anwendungsfall der AI passen. Trainiert man zum Beispiel eine AI auf Text von Webseiten mit .de-Kennung, so ist  davon auszugehen, dass in den Daten ein deutlicher Bias bezüglich der deutschen Sprache zu finden ist. Je nach Anwendungsfall kann die AI problemlos eingesetzt werden: Wendet man sie  auf Webseiten mit der Kennung .at an, wird sie voraussichtlich gut funktionieren. Bei Webseiten mit einer .com-Kennung hingegen würde wahrscheinlich der Bias in den Daten zu stark sein und es sind deutlich schlechtere Ergebnisse zu erwarten, selbst wenn es in der .de-Domäne Webseiten auf Englisch gibt.

Ist die AI auf Fotos trainiert, erkennt sie Piktogramme nicht
Links: Piktogramm, welches die AI klassifizieren soll. Rechts: Klassifikationsergebnis der AI.

Beispiel: Unbekannte Bilder bei Imagenet

Betrachten wir eine AI , welche auf dem ImageNet-Datensatz trainiert wurde. Bei diesem Datensatz handelt es sich um mehrere Millionen Bilder, auf denen ein bestimmtes Objekt, beispielsweise ein Linienflugzeug oder ein Feuerwehrauto, zu sehen sind. Die AI hat gelernt zu erkennen, welches Objekt auf dem Bild zu sehen ist – allerdings wurde sie lediglich auf Fotografien von echten Objekten trainiert. Versuchen wir zum Beispiel eine Vorhersage auf einer vereinfachten Darstellung eines Flugzeugs, so ist unklar, welches Ergebnis wir erhalten. 

Wie wir sehen können, war die AI nicht in der Lage, das Bild des Flugzeugs korrekt zu klassifizieren. Ein Grund könnte sein, dass in den Daten wahrscheinlich keine Beispiele für Piktogramme von Flugzeugen enthalten waren. Die AI hat also versucht zu vergleichen, welches reale Objekt diesem am nächsten kommt. 

Im vorherigen Beispiel haben wir die AI auf Daten angewendet, die nicht dem ursprünglichen Einsatzzweck entsprechen. Betrachten wir nun ein Beispiel, bei dem die Daten an sich eine Eigenschaft mit einem Bias beinhalten: 

in der Krebsdiagnostik hat ein Bias schwerwiegende Folgen
Daten die zum Trainieren der AI verwendet wurden. Im Vergleich zu den originalen Daten wurde eine Spalte (die erste Spalte) hinzugefügt. Die neue Spalte enthält nur den Wert 0 und einmal den Wert 1.

Beispiel: Auswirkungen Eigenschaften mit wenigen Daten auf das Klassifizierungsergebnis

Wir betrachten einen Datensatz, der bei der Untersuchung von Brustgewebe entstanden ist. Die AI soll klassifizieren, ob das untersuchte Gewebe ein bösartiger Tumor ist . Zu den gegebenen Daten fügen wir eine neue Spalte hinzu, welche eine fiktive Eigenschaft repräsentiert. Diese Eigenschaft könnte direkt mit der Krebserkrankung zusammenhängen, aber auch völlig unabhängig davon sein. Stellen wir uns einfach für dieses Beispiel vor, sie würde beschreiben, ob die betroffene Person ein rotes Auto fährt. Wir teilen unsere Daten in einen Datensatz zum Trainieren und einen zum späteren Testen auf. In den Daten, mit denen wir unsere künstliche Intelligenz trainieren behaupten wir, dass nur eine Person ein rotes Auto fährt.

Wir haben in diesem Beispiel eine AI zum Klassifizieren trainiert. Nach einer gewissen Trainingszeit konnten wir eine Genauigkeit von 93 % beobachten. Betrachten wir nun unseren Testdatensatz: Grundsätzlich wissen wir nicht, wie die neue Eigenschaft gesetzt sein soll. Da sie allerdings fiktiv ist, können wir sie für den kompletten Datensatz einmal auf 1 (Person fährt ein rotes Auto) und auf 0 (Person fährt kein rotes Auto) setzen.

Ergebnisse Brustkrebs
Ergebnis der Klassifikation der künstlichen Intelligenz auf dem Testdatensatz gruppiert nach den einzelnen Klassen. Je nachdem wie die neue Eigenschaft gesetzt wird, ändert sich die Klassifikationsgenauigkeit.

Die Ergebnisse unseres Testdatensatzes zeigen, dass die neu hinzugefügte Eigenschaft keinen Einfluss auf die Genauigkeit in den ersten Klasse zu haben scheint, wohingegen die Genauigkeit in der zweiten Klasse etwas sinkt. Dies deutet darauf hin, dass der unterschiedliche Wert in der Eigenschaft „Person fährt ein rotes Auto“ den Ausschlag dafür gegeben hat, ob bei dieser Person ein gutartiger oder ein bösartiger Tumor vorhergesagt wird. 

Die Beispiele zeigen: Wenn die Daten ein Bias haben, welcher nicht zum Einsatzzweck passt, kann sich die Genauigkeit der AI und somit die Qualität der Vorhersagen verändern. Entsprechend muss man neben der puren Genauigkeit der AI auch den Verwendungszweck eben dieser im Blick haben. In einer Situation wie oben anhand des Bilderbeispiels beschrieben, ist eine fehlerhafte Klassifikation zwar ärgerlich, zieht aber keine bösen Folgen nach sich. Eine fehlerhafte Krebsdiagnose hingegen würde extreme Folgen für die betroffene Person  bedeuten. 

Saubere Daten, nicht nur bei künstlichen Intelligenzen

Problematische Daten und deren Konsequenzen beeinflussen nicht nur das Training einer künstlichen Intelligenz. Immer wenn man mit großen Datenmengen arbeitet und auf Basis dieser etwas für Gruppen ableitet, die nicht repräsentativ in den Daten vorkommen, muss man sich dessen bewusst sein und eventuelle Korrekturfaktoren einführen.

Ein Beispiel, wo ein Ungleichgewicht in den Daten möglicherweise gravierende Folgen haben kann, sind Studien zur Dosierung von Medikamenten.  Diese Studien werden durchgeführt, um die korrekte Dosierung von Medikamenten zu bestimmen. In der Vergangenheit wurden hier häufig zu einem großen Teil Männer als Teilnehmer verwendet. Dies kann allerdings dazu führen, dass die entsprechenden Medikamente bei Frauen falsch dosiert werden, weil sie in der Studie unterrepräsentiert waren.

Worauf sollte man achten?

Bei der Vorbereitung von Trainingsdaten für eine AI sollte man aus den oben genannten Gründen die Daten gut auswählen und eventuell optimieren. Man sollte insbesondere darauf achten, dass die Daten zu dem Anwendungszweck passen. Das bedeutet:

  • Daten verwenden, welche für die Entscheidung auch relevant sind (Benötigt man zum Beispiel das Geschlecht einer Person oder sollte dies für die Entscheidung irrelevant sein?)
  • Daten verwenden, welche möglichst divers sind (Decken meine Daten möglichst viele Situationen ab oder gibt es Gemeinsamkeiten?)
  • Werte, die besonders selten vorkommen, eventuell aussortieren oder stärker gewichten
  • zum Testen der künstlichen Intelligenz möglichst realistische Daten verwenden, welche dem Anwendungsfall möglichst nahekommen
  • beim Auswerten der AI nicht nur eine allgemeine Zielgröße betrachten, sondern auch Teilgrößen wie die Genauigkeit in einzelnen Klassen
  • versuchen zu verstehen, wie eine AI zu einer Entscheidung kommt und herauszufinden, was die Ursache für eine fehlerhafte Entscheidung ist
  • verstehen, woher die Daten kommen und auf welcher Grundlage eventuelle Entscheidungen getroffen wurden

Hat man eine AI trainiert und entdeckt ein Bias in den Daten, so kann dies als Startpunkt verwendet werden, um herauszufinden wie der Bias entstanden ist. Eine Ursache kann darin bestehen, dass der darunterliegende Prozess, also wie die Daten entstanden sind, problematisch ist. So können aufgrund von AI-Entscheidungen Lehren für den zugrundeliegenden Prozess gezogen werden, um diesen eventuell zu optimieren.

Mehr zu Explainable AI schreibt Timo hier im Blog:

Was kann mir dabei helfen?

Liegt eine offensichtliche Verzerrung in den Daten vor, ist es sinnvoll, diese entweder zu beheben oder Teile der Daten stärker zu gewichten. Durch eine stärkere Gewichtung von unterrepräsentierten Eigenschaften kann die AI sich darauf konzentrieren, diesen Teil der Daten besser abzudecken und so den Bias auszugleichen. Ist eine Verzerrung nicht offensichtlich,  besteht die Möglichkeit, die AI im Nachhinein anhand der folgenden Methoden zu untersuchen:

  • Fairness-Indikatoren: Verschiedene Bibliotheken, unter anderem von Tensorflow, bieten an, bestimmte Fairness-Indikatoren, beispielsweise für Klassifikationsprobleme, zu berechnen. Diese können dann einen Hinweis darauf geben, ob die AI alle Klassen gleich fair behandelt oder Präferenzen für eine Klasse entwickelt hat.
  •  Mithilfe von Explainable AI  könnte analysiert werden, wie die AI zu ihrer Entscheidung gekommen ist. So können wir ableiten, ob die AI gewisse Eigenschaften bevorzugt.

Bias erkennen und Chancen nutzen

Die Beispiele in diesem Beitrag zeigen, was ein Bias in den Daten ist, wie er entstehen kann, wie eine AI darauf reagiert und was man beim Arbeiten mit Daten beachten sollte, um Bias zu vermeiden.
Zu Guter Letzt sei dennoch darauf hingewiesen, dass ein Bias in den Daten auch als Chance gesehen werden kann: Zum einen kann er verwendet werden, um die AI in eine gewisse Richtung zu lenken. Zum anderen kann er helfen, die darunterliegenden Prozesse zu verstehen, um künftig Maßnahmen zum Verhindern eines Bias treffen zu können.