Föderiertes Lernen

Bei der Entwicklung von Künstlichen Intelligenzen, insbesondere Neuronalen Netzen, spielen Daten eine entscheidende Rolle. Um eine möglichst gute generalisierende KI zu entwickeln, welche auf ihr unbekannte Eingaben präzise Ergebnisse erzielt, werden häufig sehr große und möglichst vielfältige Datensätze benötigt. Beispielsweise werden viele KIs zur Bilderkennung auf dem ImageNet-Datensatz trainiert, welcher aus mehr als 14 Millionen Beispielbildern besteht. Manche Anwendungsfälle kommen zwar auch mit deutlich weniger Daten aus, doch selbst dann stehen diese nicht unbedingt in ausreichender Menge zur Verfügung. 

Die Herausforderung: In vielen Fällen wären zwar theoretisch genügend Daten für das Training einer KI vorhanden, doch diese liegen bei unterschiedlichen Organisationen. Um eine KI zu trainieren, müssten diese Daten geteilt werden – was nicht immer gewollt und teilweise sogar verboten ist. Insbesondere bei schützenswerten, personenbezogenen Daten verhindern Datenschutzbestimmungen den Austausch und somit die Möglichkeit, eine KI auf klassische Weise zu trainieren.

Angenommen der FC Cologne Intelligence (FC CI) möchte mit Hilfe von künstlicher Intelligenz (Neuronale Netze) die Entwicklung seiner Spieler*innen vorhersagen, um optimale Trainingsmethoden für die individuelle Entwicklung zu finden. Leider hat der FC CI nur Daten von einer kleinen Anzahl an Spieler*innen zur Verfügung. Andere Vereine wollen Ihre Daten nicht teilen, da sie sonst einen Nachteil in der Meisterschaft haben, hätten aber andererseits selbst Interesse an einer KI, um ihre eigenen Spieler*innen optimal weiterentwickeln zu können. Die Lösung lautet föderiertes Lernen.

In unserem Beispiel sähe das folgendermaßen aus: Der FC CI beauftragt eine unabhängige zentrale Instanz, um in Kooperation mit verschiedenen anderen Vereinen ein gemeinsames Neuronales Netz zu trainieren. Wichtig ist, dass die Daten nicht die Hoheit der einzelnen Vereine verlassen. Also trainieren die Vereine lokal ein Modell mit ihren Daten. Dieses Modell wird dann an eine zentrale Instanz geschickt, welche die Modelle kombiniert. Das kombinierte Modell geht zurück an die Vereine, sodass diese das Training mit ihren Daten fortsetzen können. Das Schaubild zeigt, wie die Entwicklung des KI-Modells ablaufen kann.

Durch die Struktur des Lernprozesses werden beim föderierten Lernen zwar keine Daten direkt ausgetauscht, es kann allerdings vorkommen, dass sich Daten in den Gewichten wiederfinden. So werden die Daten zwar nicht direkt weitergegeben, sind aber aus den Gewichten rekonstruierbar.

Um die indirekte Weitergabe der Daten über die Gewichte zu verhindern, gibt es verschiedene Möglichkeiten. Drei davon stelle ich hier vor. Dabei dienen die Beschreibungen hauptsächlich dem Verständnis der zugrundeliegenden Idee, in der Praxis arbeitet man in der Regel mit optimierten Varianten. Für Details sei hierbei auf die entsprechenden Publikationen verwiesen. 

Neben dem beschriebenen zentralisierten horizontalen föderierten Lernen gibt es noch weitere Varianten. Zum Überblick seien hier noch zwei weitere, das dezentrale und vertikale, erwähnt. 

Beim dezentralen Ansatz organisieren die Clients die Aggregation der Gewichte untereinander selbst. Es gibt somit keine zentrale Instanz, welche dies organisiert. Im Beispiel FC CI wäre dies der Fall, wenn CI nicht die zentrale Organisation übernimmt, sondern die Vereine dies untereinander organisieren.

Beim vertikalen Ansatz haben die einzelnen Clients von der Struktur her unterschiedliche Daten, welche sich ergänzen. Im Beispiel des FC CI wäre das der Fall, wenn die Daten des FC CI durch die Daten der beteiligten Ärzt*innen, Physiotherapeut*innen und Ernährungsberater*innen zu den einzelnen Spieler*innen angereichert werden sollten. Diese Daten dürften aufgrund von Datenschutzbeschränkungen nicht ausgetauscht werden, könnten aber durch föderiertes Lernen in der Hoheit der Dateninhaber bleiben.

Eine Übersicht über verschiedene Arten von föderiertem Lernen und weitere Details finden sich hier. Dieser Artikel zeigt eine Übersicht über offene Fragestellungen und aktuelle Entwicklungen.

Das föderierte Lernen ist ein sehr aktives Feld, in dem aktuell viel geforscht  und entwickelt wird. Zudem entstanden den letzten Jahren unterschiedliche Bibliotheken und Plattformen, mit denen man föderiertes Lernen nutzen kann. Diese Bibliotheken unterscheiden sich häufig in ihrem Anwendungsbereich, der unterstützten Deep Learning Bibliothek und im Funktionsumfang. Ein paar interessante Beispiele sind die folgenden:

• Flower: Flower: A Friendly Federated Learning Framework
• PySyft: GitHub - OpenMined/PySyft: A library for answering questions using data you cannot see
• Tensorflow Federated: TensorFlow Federated 
• FLARE: NVIDIA FLARE | NVIDIA Developer

Bibliothekenvielfalt und Forschungsaktivität zeigen die hohe Relevanz des Themas. Ein Grund ist die Vielzahl an möglichen Anwendungsfällen, insbesondere dort, wo der Datenschutz den Zugriff auf Daten beschränkt (z.B. Gesundheits-, Finanz- oder Versicherungsbranche). Föderiertes Lernen kann dort die Entwicklung von allgemeineren KI-Modellen unterstützen oder sogar erst ermöglichen. 
Allerdings führt insbesondere der ständige Austausch der Modellgewichte zu einigem Kommunikationsaufwand, vor allem verglichen mit dem Fall, dass die Daten zusammengetragen werden und das Modell zentral trainiert wird. Die Gefahr, das Daten durch den Algorithmus weitergegeben werden, wird durch verschiedene Technologien adressiert.