NRW-Gleichstellungsministerin Ina Scharrenbach startet eine bundesweite Initiative gegen diskriminierende Computer-Algorithmen. Bei der Kreditvergabe würden Frauen oft per se benachteiligt. “Sie müssen höhere Zinsen zahlen, mehr Sicherheiten bieten oder bekommen erst gar keinen Kredit”, argumentiert die Ministerin. Sie beruft sich dabei auf eine Studie des Karlsruher Instituts für Technologie.
Dass wir ein Problem haben mit Algorithmen, die still und leise Entscheidungen fällen – das ist unbestreitbar. Vor allem fallen diese Entscheidungen in der Regel intransparent – und ohne Begründung.
Es gibt viele irritierende Beispiele dafür. Apple-Gründer Steve Wozniak zum Beispiel berichtet auf Twitter, dass seine Frau einen geringeren Kreditrahmen bei der Kreditkarte von Apple habe als er selbst. Obwohl sie eine Gütergemeinschaft bilden – und ohne jeden Zweifel kreditwürdig sind.
Offensichtlich kein Einzelfall bei der Apple Card. Auch dieser Nutzer beklagt, dass er einen 20 Mal höheren Kreditrahmen habe als seine Frau. Der Tweet hat für einigen Wirbel gesorgt.
Wie kommt das? Absicht? Vorsatz?
Mangelnde Transparenz: Keiner weiß, wie KI-Systeme trainiert werden
Digitalisierung birgt die Gefahr für Intransparenz
Es ist das Ergebnis der zunehmenden Digitalisierung. Heute entscheiden Algorithmen oder KI-Systeme über viele Belange unseres Lebens. Auch über Kredite und Kreditrahmen. Sie machen das, indem sie gefüttert werden – mit unendlich vielen Beispielen aus der Vergangenheit. Wenn nun in der Vergangenheit mehr Männer Kredite aufgenommen haben – und höhere Summen -, so sind sie für die Algorithmen schnell die attraktiveren Kreditnehmer.
So bestimmt die Vergangenheit die Gegenwart und die Zukunft. “Das war schon immer so!”, sagt sich der Algorithmus – und bleibt dabei. Es gibt noch andere mögliche Gründe. Frauen verdienen im Durchschnitt immer noch weniger. Statistisch gesehen reisen möglicherweise auch mehr Männer, sie geben mehr Geld aus mit der Kreditkarte, belasten sie stärker – das macht sie für Algorithmen zum attraktiveren Kreditkunden.
Das eigentliche Problem aber ist: Es ist völlig intransparent, wie Algorithmen und vor allem KI-Systeme entscheiden. Es ist intransparent, wie sie programmiert wurden. Und vor allem für KI-Systeme gilt: Es ist intransparent, wie sie trainiert wurden. Das ist aber entscheidend für die Frage, wie die Systeme entscheiden. Und wer wagt es schon, die Entscheidung eines KI-Systems in Frage zu stellen?
Diskriminierung in Algorithmen sind an der Tagesordnung
Diskriminierung inside
Keine Frage: Viel zu viele Algorithmen und KI-Systeme sind diskriminierend. Es gibt Seifenspender, die geben Menschen mit dunkler Hautfarbe keine Seife. Ebenso ist bekannt, dass Menschen mit dunkler Hautfarbe ein deutlich höheres Risiko haben, von einem selbstfahrenden Auto “übersehen” und damit angefahren zu werden.
Warum? Weil die KI-Systeme vor allem mit hellhäutigen Menschen trainiert wurden.
Es schleicht sich also schnell Diskriminierung in Algorithmen ein – und das hat heute eine immer größere Tragweite. Weil KI-Systeme Kredite bewilligen, Wohnungen vergeben, Bewerbungen vorsortieren und vieles andere mehr. Und der einzelne Mensch kann das weder kontrollieren noch korrigieren. “Das System hat das so entschieden!”. Fertig.
Hier hat Ina Scharrenbach recht: So etwas muss unbedingt verhindert werden. Dafür braucht es dringend völlige Transparenz bei KI-Systemen und Algorithmen. Aber in allen Belangen: Wer sich nur auf die Benachteiligung von Frauen beschränkt, diskriminiert selbst auch. Es ist wichtig, die Diskriminierung an sich zu verhindern. Dafür müssen wir an die Algorithmen ran.
12 Kommentare
Kommentar Funktionen
In der Regel sollte so ein Algorithmus nicht eingestellt sein. Um dies zu umgehen, kann man einen online Kreditrechner nutzen und seinen Kredit hinterher bei einem professionellen Finanzdienstleister oder Bank persönlich abschließen.
Grundsätzlich keinen Unterschied?
Bei der impliziten Interpretation/Benutzung des Begriffs “Diskriminierung” wird unausgesprochen angenommen, dass es sie n i c h t mehr gibt, erst wenn es eine quasi perfekte Gleichverteilung, egal bei welchem Anlass, gibt.
Beispiel Geschlecht (also m/w): Erst, wenn die statistische Verteilung bei den Elementen abgebildet – hier 50/50 – wird, gibt es keine “Diskriminierung”. Wirklich? So einfach?
These: Der Unterschied, der da ist (w/m), wird bei Wortwahl “Diskriminierung” grundsätzlich ausgeblendet.
Damit schüttet man das Kind mit dem Bade aus. (Gedankenexperiment Bewerbung: Mich hat man diskriminiert, weil man eine Säuglingsschwester suchte. Einen Säuglingsbruder wollten sie nicht).
Es gibt Unterschiede. Z.B. kognitive Fähigkeiten, Denkmuster (Schachspiel, auch wenn da mit Statistik vorschnell eine irreale Interpretation erfolgt), Biomedizin, Psychologie,…
Ziel muss die wertegeleitete Strukturierung der KI sein. Nicht Gleichverteilung.
KI-Algorithmen sind i.d. Regel nur an der Wirklichkeit trainiert. Also Spiegel der Realität. Die Wirklichkeit ist algorithmennormierend. EVA-Prinzip: Eingabe, Verarbeitung, Ausgabe.
Diskussion mit “Algorithmus” bringt wohl mehr politische Aufmerksamkeit.
P.S. Ähnliche Fragestellungen Algorithmus/Rechtsprechung/Ethik – Siehe dazu Arbeiten bei Fraunhoferinstituten.
Das ist wirklich ein Problem! Frauen sollten die gleichen Kreditkonditionen bekommen, wie Männer. Lediglich bei Krediten ohne Schufa werden weibliche Verbraucher nicht benachteiligt. Ohne Bonitätsprüfung erfolgt auch keine Klassierung nach Geschlecht.
Die SCHUFA hat da aber doch noch ein Wörtchen mitzureden!
Das wird die Schufa aber gar nicht freuen…
Also ich habe dazu leider kein Wissen, aber das hört sich für mich schon heftig an. Es sollte langsam mal Schluss sein mit der ganzen Diskriminierung.
Markus
Bei dieser Diskussion sollte man nicht vergessen das auch Menschen diskriminieren und das nicht zu knapp. Hinterher wird dann vom Entscheider rationalisiert was das Zeug hält, denn wer möchte sich schon gerne diskriminierung vorwerfen lassen. Die Entscheidung anzufechten ist dann ähnlich schwer wie bei einer “unfehlbaren” Maschine.
–
Es wäre somit schon etwas gewonnen, wenn ein Algorithmus weniger diskriminiert als ein Mensch. Das ist nicht allzu schwer und schon heute möglich.
–
Den Ruf nach Transparenz unterstütze ich und weite Ihn sogleich aus, um sämtliche Entscheidungsprozesse zu erfassen. Was nützt mir Transparenz bei einem Algorithmus, wenn die Entscheidung des nächsten menschlichen Sacharbeiters mal wieder zur gänze im unklaren verbleibt.
Grundsätzlich sollten bestimmte Merkmale wie Geschlecht, Hautfarbe etc. gar nicht erst abgefragt werden. Leider hat es sich eingebürgert, bei vielen Registrierungen z. B. das Geschlecht (oder die Nationalität, das Alter etc.) angeben zu müssen. Und da sind die Öffentlich Rechtlichen nicht besser. Wenn ich z. B. die Quiz-App nutzen möchte, muss ich dort erst angeben, ob ich männlich oder weiblich bin. Anderes Geschlecht oder keine Angabe sind nicht möglich, zumindest zu dem Zeitpunkt, als ich sie nutzen wollte, deswegen habe ich sie wieder gelöscht. Sie generiert dabei Statistiken dazu, was Frauen oder Männer wissen und trägt zu Gender-Vorurteilen bei. Ich weigere mich, bei so etwas mitzumachen.
Und KI mit ihren Algorithmen macht eigentlich nichts anderes als das, was in den Köpfen der meisten Menschen täglich auch passiert. Frau? Kann bestimmt nicht Autofahren, ist emotional, gut geeignet für die Pflege. Mann? Hat einen guten Orientierungssinn, steht auf Fußball, kann keine Gefühle zeigen.
Vorurteilsfrei geht eigentlich nur, wenn man nicht weiß, wen man vor sich hat. Deswegen wollten wir zumindest dort, wo wir unser Gegenüber nicht sehen können, keine vorurteilsbehafteten Angaben abfragen.
Sagte nicht Einstein in einer Rede auf der Funkausstellung:
Man sollte auch über die Technik bescheid wissen, die man da nutzt.
(Meiner Meinung nach sollte die Technik einfach sein, oder man sollte
mindestens so einen großen Kopf wie Einstein haben.)
Nun, das mit den Frauen, oder mit den Schwarzen, kann passieren. Da ist aber der Algorithmus nicht schuld, sondern die dahinter. Immer wenn es besondere Auffälligkeiten gibt, sollte man hinterfragen und nach Lösungen suchen. Aber wenn etwas ist wie es ist, muß man auch sagen, so sei es. Dann kann man durch zusätzliche Kriterien oder Einschränkungen das Ergebnis biegen, bis es moralisch gesellschaftlich paßt. Die Frage ist doch, wozu der Algorithmus dient. Der Zweck ist es doch, warum man diese “Glaskugel” befragt. Mal geht es um Geld, dann um Risikoeinschätzungen, dann um die Erkennung von Hautkrebs oder ob da Hunde, Katzen oder anderes auf den Bildern sind. Der Algorithmus weiß nichts von der Ethik hinter der Welt, die ihm gezeigt wird. Aristoteles und Co. hätten an sowas ihre wahre Freude gehabt…
Ich korrigiere Schwarze durch mit dunkler Hautfarbe. Mir war so gewesen, ich hätte Wortlaut aus dem Text übernommen. Entschuldigung.
Meiner Meinung nach ist und bleibt “Transparenz” in erster Linie eine gesellschaftliche Diskussion (und Aufgabe!), deren Abschieben in den Bereich “Algorithmen und KI” das Ganze nur unnötig vernebelt und diesem – völlig berechtigten – Anliegen damit keinen Gefallen tut. So lange es im Bundestag immer noch kein Lobbyregister gibt, so dass von unseren Volksvertretern niemand weiß, von wem sie im Einzelfalle gesponsert werden, oder so lange die Schufa niemandem erklären muss, wie genau ihre Rankings von Algorithmen berechnet werden, weil das als schützenswertes Geschäftgeheimnis eingestuft wird, bringt einem auch eine noch so transparente KI nichts. Das Entscheidende ist doch am Ende nicht die Erklärbarkeit oder die Nachvollziehbarkeit von Entscheidungen und Prozessen, sondern der (gesetzliche) Anspruch darauf, dass einem diese Erklärung auch zugänglich gemacht wird. So lange das nicht gesellschaftlicher und politischer Konsens ist, kann man sich irgendwelche Technologiediskussionen komplett schenken.