Warum ein Online-Lügendetektor keine gute Idee ist

Forscher von der Stanford und der Florida State University haben ein Machine Learning-Modell entwickelt, das Lügen in Online-Messages erkennen soll. Laut den Wissenschaftlern könnte das Modell in Zukunft zum Schutz unserer Online-Kommunikation beitragen. Das sehe ich kritisch.

Doch zunächst einmal: Wie soll so ein Online-Lügendetektor funktionieren? Hier haben die US-Forscher Ho und Hancock 40 Testpersonen jeweils in Paaren ein dafür designtes Game spielen lassen. Die beiden Spieler sitzen dabei getrennt voneinander und chatten miteinander – ohne zu wissen, wer ihr “Gegenspieler” ist.

Einer bekommt die Rolle des “Speaker“, einer die des “Detector” zugeteilt. Dem “Speaker” wird außerdem noch gesagt, ob er ein “Lügner” oder ein “Heiliger” ist. Die Aufgabe des “Detectors” ist es dann, mit Hilfe von Fragen im Chat herauszufinden, ob der “Speaker” ein Lügner ist oder nicht.

Mit Hilfe von Hinweisen den Lügner identifizieren

Anhand der Daten haben die Forscher Machine-Learning-Modelle entwickelt und getestet. Diese Modelle sollten quasi die Aufgabe des “Detectors” aus dem Game übernehmen und herausfinden, ob der “Speaker” ein Lügner ist. Eines der Modelle lag bei 82,5 Prozent der Einschätzungen richtig.

Anhand verschiedener Hinweise wie schnelleren Antworten bei Lügnern oder der Verwendung von Wörtern wie “immer” oder “nie” erkannte der Algorithmus, ob es sich um “Sinner” oder “Saint” handelt. Angaben dazu, wie die menschlichen “Detector” in der Studie abschnitten, gibt es nicht.

Künstliche Situation und “Overtrust”

Zweifelsohne sind die Ergebnisse der Studie für Machine-Learning-Interessierte spannend. Ein großer Kritikpunkt bei dieser Erhebung ist allerdings die künstliche Situation. Kaum jemand ist nur Lügner oder Heiliger, und im Alltag erzählen wir aus den verschiedensten Gründen nicht (die ganze) Wahrheit.

In einem simulierten Game sollte es außerdem kein Unrechtsbewusstsein für eine Lüge geben – denn die Lüge ist das erwünschte Verhalten. Es ist also anzunehmen, dass die Daten so nicht auf reale Situationen übertragbar sind. Das ist ein Problem, denn ein Machine-Learning-Modell ist immer abhängig von den Daten, mit denen es lernt.

Bei einem Tech-Konzern hat eine Software Bewerbungen von Frauen aussortiert. KI-Ethik-Forscherin Nushin Yazdani im Gespräch dazu bei WDR 5 Politikum.

Wir sollten uns die Frage stellen, ob es unserem Zusammensein gut tut, wenn wir komplexes menschliches Verhalten scheinbar kategorisierbar machen. Denn Menschen haben wissenschaftlichen Erkenntnissen nach nun mal die Tendenz, Maschinen und maschinelles Lernen zu überschätzen.

Dieses Phänomen heißt in der Forschung auch “Overtrust”. Bezeichnet jemand also einen anderen Menschen als Lügner oder eine Aussage als Lüge, dann betrachten wir dieses Urteil kritischer, als wenn ein Computer-Modell aka ein Online-Lügendetektor uns ein Ergebnis ausgibt.

Lügendetektor goes ….

“Na und, dann wird halt jemand bei Facebook oder Twitter als Lügner bezeichnet”, könnte vielleicht ein erster Impuls darauf sein. Das Problem ist aber: Eine solche Technologie könnte auch noch in ganz anderen Bereichen eingesetzt werden – zum Beispiel bei Bewerbungen oder auch in der Strafverfolgung.

Dabei handelt es sich nicht um Zukunftsfantasien: Städte wie Chicago setzen seit längerem “Predictive-Policing”-Modelle ein. Diese errechnen die Wahrscheinlichkeit, mit der bestimmte Personen straffällig werden oder das Risiko für Verbrechen an verschiedenen Orten in der Stadt. Auch in Deutschland ist mit der Software “SKALA” seit kurzem ein System im Einsatz, das “Hot Spots” für Verbrechen identifizieren soll.

Und wo wir gerade bei der Strafverfolgung sind: Auch die traditionellen Lügendetektor-Tests, die sogar physische Reaktionen auswerten, gelten nicht umsonst vor Gericht als unbrauchbar. Denn sie können ausgetrickst werden, wenn jemand weiß, welche körperlichen Stress-Reaktionen unterdrückt werden müssen. Kaum denkbar also, dass jemand, der bewusst lügt, nicht auch sein Verhalten an Lügendetektor-Algorithmen anpassen würde.