Wenn die zunehmende Digitalisierung von Arbeitsprozessen zu Nachteilen für die Beschäftigten führt, weil Künstliche Intelligenz diskriminiert, dann ist es Zeit einzugreifen — das dachten sich die Mitarbeitenden des Projekts Diskriminierung durch Künstliche Intelligenz (DiKI), das Diskriminierung durch Algorithmen erforscht.
UnAufgefordert: Diskriminierung durch Algorithmen — was ist das überhaupt?
Prof. Dr. Katharina Simbeck: Heute werden viele Entscheidungen automatisch durch Computerprogramme getroffen. Algorithmen entscheiden, ob ich einen Kredit bekomme, welche Werbeanzeigen mir angezeigt werden und welche Produkte mir von einem Onlinehändler empfohlen werden. Es wurde schon mehrfach gezeigt, dass diese Algorithmen potentiell diskriminieren können. So beurteilten Computerprogramme die Finanzkraft von Frauen schlechter als die von Männern. Von Diskriminierung sprechen wir dann, wenn Menschen mit den gleichen Voraussetzungen in der gleichen Situation unterschiedlich behandelt werden. In unserem Forschungsprojekt beschäftigen wir uns aber vor allem mit der potentiellen Diskriminierung, wenn solche Datenauswertungsverfahren jetzt auch im Personalbereich angewandt werden.
Welche Gruppen von Menschen werden durch Künstliche Intelligenz diskriminiert? Welche Beispiele gibt es?
Prof. Dr. Jürgen Radel: Im Prinzip kann es jede Gruppe von Menschen treffen, ganz gleich welchen Geschlechts oder Alters sie beispielsweise sind. Allerdings kann eine Diskriminierung noch deutlich über diese beiden offensichtlichen Merkmale hinausgehen. So kann es sein, dass Fachhochschulabsolvent*innen diskriminiert werden, da dieser Abschluss im Vergleich zum Universitätsabschluss als weniger hochwertig bewertet wird. Es gibt hier auch länderspezifische Gegebenheiten. In den USA kann es dazu kommen, dass potentielle Studierende es schwerer haben, auf eine der Elite-Universitäten zu kommen, wenn deren Eltern keine dieser Institutionen besucht haben. Diese Liste ließe sich leider sehr lange fortsetzen.
Wann und wie wurde das Problem erkannt?
Radel: Wir glauben, dass es immer schon erkannt wurde, allerdings vor allem von denjenigen, die von der Diskriminierung betroffen waren. Da es sich dabei oft um Personenkreise handelt, die eine Minderheit darstellen, ist es teilweise problematisch, eine breite Öffentlichkeit für das Thema zu öffnen.
Simbeck: Der Begriff „Discrimination-aware data mining“ wurde bereits 2008 von Pedreschi, Franco und Turini eingeführt und seitdem von vielen Forscher*innen aufgegriffen. Diese haben gezeigt, dass in den Daten vorhandene Tendenzen, „Bias“ genannt, zu verfälschten The Robot is Judging You Schlussfolgerungen führen. Derzeit gibt es eine wissenschaftliche Diskussion darüber, wie durch statistische Methoden direkte und indirekte Diskriminierung vermieden werden kann. Indirekte Diskriminierung entsteht, weil das potentiell diskriminierungsanfällige Attribut, zum Beispiel Geschlecht, mit vielen anderen Attributen korreliert. Eine Entfernung der Spalte Geschlecht aus den Daten würde also den Bias aus den Daten nicht entfernen.
Wieso ist ein Projekt wie DiKI nötig?
Radel: Wir sind der festen Überzeugung, dass Künstliche Intelligenz, sofern man diesen Begriff nutzen will, die bereits vorhandene Diskriminierung festigt oder, was noch schlimmer wäre, verstärkt. Die Idee ist uns gekommen, als wir uns mit Anbietern von Rekrutierungs-Lösungen beschäftigt haben, die Wechselbereitschaft berechnen, also die Bereitschaft Arbeitnehmender, das Unternehmen zu verlassen, um bei einem neuen Unternehmen zu arbeiten. Auch Berichte zum Thema Predictive Crime oder Social Scoring haben uns deutlich gemacht, wie wichtig es ist, Algorithmen zu hinterfragen. Bei Predictive Crime versuchen Sicherheitskräfte über Daten vorherzusagen, wo beispielsweise in der kommenden Zeit Einbrüche passieren könnten, um dort mit erhöhter Präsenz vor Ort zu sein. Ein chinesisches System zum Social Scoring hat 2015 für zahlreiche Presseberichte gesorgt. Sehr vereinfacht gesagt bekommen Sie Bonuspunkte für erwünschtes Verhalten und Negativpunkte für abweichendes Verhalten — im Prinzip eine Schufa-Auskunft für individuelles Verhalten. In solchen Fällen ist es sehr wichtig, Algorithmen kritisch zu hinterfragen. Etwas, das Menschen selten tun, da sie intransparent oder für viele schlicht nicht verständlich sind. Unser Projekt soll helfen, Diskriminierungspotential zu erkennen und dann im Idealfall zu vermeiden.
Simbeck: Bei manchen Verfahren der Künstlichen Intelligenz lässt sich im Nachhinein nicht mehr feststellen, wie das System zu einem Ergebnis gekommen ist. Ein Beispiel dafür sind sogenannte neuronale Netze, Algorithmen, die man auch zur Mustererkennung einsetzt. Anhand von vielen Beispielen kann so ein Algorithmus lernen, Menschen auf Bildern zu erkennen. Man weiß aber hinterher nicht, woran die Menschen erkannt wurden und welche Einflussfaktoren wie stark wirken. Manche dieser Algorithmen tun sich dann schwer damit, Menschen zu erkennen, die in den Trainingsdaten unterrepräsentiert waren, zum Beispiel Menschen afrikanischer Herkunft. Obwohl neuronale Netze nach unserem Kenntnisstand im Personalwesen bisher noch nicht eingesetzt werden, ist mit zunehmendem Wachstum der Datenmengen damit zu rechnen. Es ist also wichtig, zu zeigen, dass Datenanalyse auch im Personalbereich nicht automatisch zu objektiven, neutralen Ergebnissen führt.
Können sich betroffene Nutzer*innen gegen diskri-minierende Mechanismen wehren?
Radel: Das ist aus unserer Sicht sehr schwer. Tendenziell scheint eine Einigkeit zu bestehen, dass Menschen in der Beurteilung anderer Fehler machen. Algorithmen werden seltener hinterfragt. Oft müssen sich die rechtfertigen, die den Algorithmus anzweifeln, selten die, die ihn geschrieben haben.
Simbeck: In vielen Unternehmensprozessen fallen heute Daten an, die auch Aussagen über die Mitarbeiter*innen enthalten. Denken Sie an einen Helpdesk, der Nutzeranfragen bearbeitet: Hier wird genau dokumentiert, welche Art der Anfrage wie gut und wie schnell bearbeitet wurde. Ein Kassensystem könnte danach analysiert werden, welche Kassierer*in wie schnell Artikel einscannt. Die Email-Kommunikation innerhalb eines Unternehmens könnte Aufschluss geben darüber, welche Personen abteilungsübergreifend kommunizieren (Social Network Analysis) beziehungweise wessen Emails Kunden im negativen Zusammenhang erwähnen (Sentiment-Analyse). Die Vermeidung von solchen Daten ist im beruflichen Umfeld viel schwerer als im privaten Umfeld. In den meisten Unternehmen existieren aber Betriebsvereinbarungen, welche die mitarbeiterbezogene Auswertung von Daten aus Tools wie Kassensystemen verbieten. Darüber hinaus sind die Mitarbeiter*innen aber auch durch das Bundesdatenschutzgesetz und das Briefgeheimnis geschützt. Viele Gewerkschaften beschäftigen sich derzeit damit, wie man verhindert, dass die Digitalisierung von Arbeitsprozessen zu Nachteilen für die Beschäftigten führt. Deshalb finanziert ja auch die gewerkschaftsnahe Hans-Böckler-Stiftung unser Projekt.
Welche Entwicklungen sind für die Zukunft zu erwarten?
Radel: Vermutlich noch deutlich ausgefeiltere und tiefgreifende Ansätze bei der Analyse von Menschen und deren Verhalten. Aktuell sind wir noch am Anfang und die Daten liegen oft nur sehr unstrukturiert und fragmentiert vor. Im Prinzip ist das ein Vorteil, da sie nur eingeschränkt genutzt werden können. Wird das trotzdem getan, dann ist das eher problematisch. Die Entwicklung wird aber sehr schnell gehen. Wir gehen davon aus, dass in den kommenden fünf bis zehn Jahren Chatbots zur Rekrutierung eingesetzt werden und dabei auch Persönlichkeitsmerkmale erhoben werden. Chatbots sind mehr oder minder komplexe Dialogsysteme, bei denen Nutzer*innen mit dem System kommunizieren. Auf Webseiten sieht man sie in Form eines kleinen Chat-Fensters, in dem uns freundlich Hilfe angeboten wird. Bei den Antworten müssen sich die Bots heutzutage in den meisten Fällen noch auf einfache Datenbanken verlassen. Das dürfte sich mit steigender Vernetzung ändern, sodass wir dann nicht mehr auseinanderhalten können, ob wir mit einem Bot oder einem Menschen kommunizieren.
Gibt es auch die Möglichkeit, Künstliche Intelligenz zum Abbauen von Vorurteilen zu nutzen?
Simbeck: Um Diskriminierung zu vermeiden, ist es im ersten Schritt hilfreich nachzuweisen, wo es sie überall gibt. Dazu können Datenauswertungen und auch explorative Datenanalysen natürlich sehr viel beitragen.
Radel: Schaffen wir eine Instanz, die vorurteilsfrei bewertet, ob jemand auf eine Stelle passt oder nicht, können aus unserer Sicht alle Seiten profitieren. Allerdings gibt es derzeit auch viele Vorbehalte, wenn wir den Auswahlprozess dem Menschen ein Stück weit abnehmen, sowohl von denen, die die Auswahl machen, als auch bei denjenigen, die ausgewählt werden. Letztendlich denke ich, dass auch die gesamte Gesellschaft von der Nutzung Künstlicher Intelligenz profitieren kann. Die Personalauswahl objektiver zu gestalten, ist ein Anfang und ein Schritt in die richtige Richtung.
