1Diskriminierende Systeme – Rassismus und Frauenfeindlichkeit in KI-Systemen
Gudrun Schiedermeier
1.1Einleitung
Künstliche Intelligenz (KI) ist eine Schlüsseltechnologie. Die Bundesregierung hat mit der KI-Strategie 2018 und deren Fortschreibung 2020 die Grundlage geschaffen, um Deutschland an die Weltspitze der Forschung und Anwendung von künstlicher Intelligenz zu bringen. [1]
Die Europäische Kommission veröffentlichte im Februar 2020 ein Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen. „Daten und künstliche Intelligenz bieten potenzielle Lösungen für viele gesellschaftliche Probleme auf Gebieten, die vom Gesundheitswesen über Landwirtschaft und Sicherheit bis zur industriellen Fertigung reichen. Diese Lösungen kommen allerdings nur infrage, wenn die Technologie so entwickelt und genutzt wird, dass die Menschen Vertrauen zu ihr haben. Um dieses Vertrauen zu stärken, stützt sich die Strategie der EU auf Grundwerte und erhöht damit nicht nur die Akzeptanz KI-basierter Lösungen bei den Bürgerinnen und Bürgern, sondern spornt auch Unternehmen zu deren Entwicklung an.“ [2] Das Thema ist in der Politik angekommen. KI ist gekommen und wird wohl bleiben.
Viele Firmen (z.B. Google [3]), Fachorganisationen wie die Gesellschaft für Informatik [4] und NGOs haben in den letzten Jahren ethische Leitlinien veröffentlicht. Ob und inwieweit diese freiwilligen Vereinbarungen nützlich und ausreichend sind, darauf wird später noch eingegangen.
Anwendungen und Produkte mit künstlicher Intelligenz beeinflussen bereits den Alltag von Millionen von Menschen, z.B. durch die Verwendung von Sprach-Assistenten oder durch Optimierung beim Onlineshopping. KI-Tools und -Dienste haben erheblichen Einfluss auf menschliche Schicksale: Sie beraten Ärzte bei medizinischen Behandlungen, entscheiden über Kredite, geben Empfehlungen beim Anwerben von Mitarbeitern, beim Wiedereingliedern von Arbeitslosen in den Arbeitsmarkt oder machen Vorhersagen über die Rückfälligkeit von Straftätern, um nur einiges zu nennen. Viele dieser Systeme zielen auf eine größere Objektivität, als man sie von menschlichen Entscheidern in der Vergangenheit erwarten konnte. Einige dieser Systeme erfüllen durchaus ihren Zweck. Als positives Beispiel sei eine Mitteilung in der Ärzte-Zeitung aus 2019 zur Erkennung von Hautkrebs mittels KI-Algorithmen genannt. In einer Untersuchung traten 157 Hautärzte aus zwölf Universitätskliniken in Deutschland gegen Computer an: Sowohl die Ärzte als auch der eigens programmierte Algorithmus beurteilten dabei 100 Bilder danach, ob es sich um ein Muttermal oder um schwarzen Hautkrebs handelt. Am Ende war der Algorithmus präziser als die klinische Diagnostik, wie das Nationale Zentrum für Tumorerkrankungen Heidelberg mitteilte. [5]
Mittlerweile ist aber bekannt, dass mehrere KI-Algorithmen z.B. Menschen mit dunkler Hautfarbe oder aufgrund des Geschlechts diskriminieren, z.B. die Bewerbungen von Frauen systematisch aussortieren. Beispiele folgen in Kapitel 1.3.
1.2Definition Diskriminierung
Die nachfolgende Definition für das Wort „Diskriminierung“ stammt aus dem Whitepaper der AG3 der Plattform Lernende Systeme. Die Autorinnen und Autoren sind Mitglieder der Arbeitsgruppe IT-Sicherheit, Privacy, Recht und Ethik der Plattform Lernende Systeme. Als eine von insgesamt sieben Arbeitsgruppen thematisiert sie Fragen zur Sicherheit, Zuverlässigkeit und zum Umgang mit Privatheit bei der Entwicklung und Anwendung von Lernenden Systemen. Sie analysiert zudem damit verbundene rechtliche sowie ethische Anforderungen und steht in engem Austausch mit allen weiteren Arbeitsgruppen der Plattform Lernende Systeme. [6]
„Diskriminierung“ stammt vom lateinischen Wort „discriminare“ (unterscheiden) ab. Das Wort ist an sich neutral. Diskriminierung hilft Sachverhalte durch schnelle Unterscheidung einfacher zu erfassen. Zentral dabei ist, ob Unterscheidungen gerechtfertigt sind oder eben nicht. Diskriminierung im negativen Sinn liegt vor:
bei einer ungerechtfertigten Ungleichbehandlung von Gleichen oder bei einer ungerechtfertigten Gleichbehandlung von Ungleichen. Im Folgenden wird anhand von Beispielen die Diskriminierung durch Algorithmen verdeutlicht.
1.3Rassismus in KI-Systemen
1.3.1Algorithmus zur Einschätzung der Rückfallwahrscheinlichkeit von Strafgefangenen
Die staatlichen Gefängnisse in den USA sind überfüllt. Deshalb wurden Algorithmen entwickelt, die zur Einschätzung des Rückfälligkeitsrisikos von Strafgefangenen eingesetzt werden, und zwar dann, wenn über deren frühzeitige Entlassung verhandelt wird. Die dazu eingesetzte Software ist meistens COMPAS („Correctional Offender Management Profiling for Alternative Sanctions“).
COMPAS liefert Richter*innen einen Wert für die Wahrscheinlichkeit, mit der Angeklagte erneut straffällig werden. Das Problem dabei ist, dass die Algorithmen mit historischen Daten trainiert werden, die nicht auf kausalen Zusammenhängen, sondern auf statistischen Korrelationen beruhen. [8] Aufgrund dessen erhalten Menschen aus Bevölkerungsgruppen, die in der Vergangenheit für die Strafverfolgungsbehörden auffällig waren, z.B. ethnische Minderheiten oder Personen mit schlechterem finanziellen Status, schlechtere Prognosen und werden allein aufgrund der Zugehörigkeit zu einer bestimmten Bevölkerungsgruppe benachteiligt. Vorherrschende Verzerrungen werden also durch den Algorithmus kopiert und sogar verstärkt.
Die Hoffnung war ursprünglich, dass Algorithmen die Wahrscheinlichkeit, dass ein Verurteilter nach seiner Entlassung wieder straffällig wird, objektiver vorhersagen als Menschen. Nach einer Studie der Stanford University und der University of California in Berkeley kamen daran aber Zweifel auf. [7] Danach gelingt es weder Mensch noch Maschine besonders gut, das Rückfälligkeitsrisiko zu bestimmen. Das Team aus Stanford und Berkeley nahm sich einen Datensatz vor, der 7000 sogenannte COMPAS-Einschätzungen von nachgewiesenen Kriminellen enthielt. Daraus entstanden individuelle Profile. Diese wurden dann wiederum 400 Laien präsentiert. Deren Aufgabe war es einzuschätzen, ob die betroffene Person wieder eine Straftat begehen wird. Die Studie aus 2018 fand heraus, dass COMPAS in 65 Prozent der Fälle richtig lag, die Laien jedoch in 67 Prozent der Fälle. Die Software ist seitdem nicht unumstritten.
Kritisch sehen die Forscher das Image von COMPAS und anderen Computersystemen auch aus anderen Gründen. Während sich ungerecht behandelt fühlende Personen vergleichsweise gut begründet gegen Entscheidungen von Richter*innen vorgehen können, ist es viel schwieriger, sich gegen scheinbar objektive Algorithmen zu wenden.
Ein weiterer Kritikpunkt ist, dass Richter*innen, also Menschen, freiwillig die Entscheidung an die Maschine abgeben.
Neuere Studien insbesondere zu Predicitve Policing verdeutlichen, dass auch aktuelle, verbesserte Algorithmen Rassismus nicht verhindern. [9]
1.3.2Bewertungssysteme für Bewerber*innen
Amazon begann bereits 2014 mit der Entwicklung eines automatischen Bewertungssystems für Bewerber*innen. Die Hoffnung war damals, dass Software diskriminierungsfreier als menschliche Entscheider*innen arbeitet. Als Eingabe für das System wurden die Bewerbungsunterlagen der letzten zehn Jahre verwendet. Es ist darauf hinzuweisen, dass die erfolgreicheren Kandidaten in dieser Zeit zumeist Männer waren. Dem für das Lernen verwendeten statistischen Modell war das Geschlecht der sich bewerbenden Personen nicht bekannt. Trotzdem fand es Eigenschaften, die mit dem Geschlecht korrelierten, wie beispielsweise eine Mitgliedschaft im Frauen-Schach-Club oder Zeugnisse von Colleges, die nur Frauen zulassen. Das Entwicklerteam verbesserte zwar die beiden genannten Stellen. Das Projekt wurde letztlich aber fallen gelassen, weil niemand vorhersehen kann, welche Informationen ein KI-System findet und verknüpft. [10]
Wer sich in den USA auf eine Stelle bewirbt, führt inzwischen sehr oft das erste Vorstellungsgespräch mit einer KI. Anhand kurzer Videos sollen mittels Gesichtserkennung, genauer einer Gesichts- und Mimik-Analyse, die Persönlichkeitsmerkmale von Bewerber*innen bestimmt werden. Auch hier verspricht man sich durch KI eine objektivere und schnellere Auswahl geeigneter Kandidat*innen. Auc...