Der englische Titel “Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy“ verrät klarer das durchaus große Anliegen der Autorin.

Die komplette Buchreflexion von Cathy O‘Neil Buch „Angriff der Algorithmen“ ist zu lang für einen Blogbeitrag. Sie enthält viele Beispiele und ausführliche Zitate des Buchs. Hier geht’s zum Download.

Näheres zum Buch von Seiten des Verlages erhalten Sie hier.

Cathy O’Neil kennt die dunkle der Macht, würde man es Star Wars like ausdrücken wollen. Sie war als Mathematikern bei einem Hedge-Fonds beschäftigt und ist nunmehr Occupy-Aktivistin. Als solche versucht sie der „hellen Seite der Macht“ Vorschub zu leisten, auf der nicht etwa auf Algorithmen verzichtet werden sollte. Vielmehr sollte ein transparenter, klar geregelter, kontrollierter und diskursiver Umgang gepflegt werden. Denn durch Algorithmen werden Menschen digital indiziert und qualifiziert. Dieses ist eine auch ethisch moralische zu begreifende Tatsache, die Cathy O’Neil unter dem Begriff der (Un-) Gerechtigkeit beschreibt und derartige Einordnungen von Personen eingehend in ihrem Buch behandelt.

Häufig hört man in diesem Zusammenhang Argument der Algorithmenanwender, ein mathematischer Algorithmus sei neutraler und damit besser geeignet als Menschen, die durch Fehleinschätzungen und diskriminierenden Vorstellungen „von Natur aus“ schlechter als ein Algorithmus in der Lage seien, Qualifizierungen zu treffen (z.B. bei der Einstellung von Personen). Dieses Argument missachtet, dass auch ein Algorithmus von genauso so fehlerbehafteten Menschen programmiert wird, also deren (fehlerhafte) Annahmen und Vorurteile in die Programmierung des Algorithmus mit einfließen.

Der Begriff im englischen Originaltitel „Weapons of Math Destruction“ (WMD) steht für Algorithmen, die sich rekursiv ausschließlich aus sich selbst speisen und sich damit negativ verstärken. Ihnen fehlt es an aus Sicht des Algorithmus äußeren Lerninformationen, durch die dieser Algorithmus im positiven Sinne lernen könnte. Fehlt dieser Abgleich mit Außeninformationen, werden Selektionen und Entscheidungen, die durch ihn getroffen werden, durch „bösartige Feedbackschleifen“ negativ verstärkt und noch unheilvoller: Anstatt die Wahrheit herauszufinden, wird der Score selbst zur Wahrheit (Cathy O‘Neil „Angriff der Algorithmen“ S. 13, Carl Hanser, München 2017 – ich verwende zukünftig bei Zitaten aus diesem Buch das Sigle AdA). Dies wird gerade dadurch unterstützt, dass häufig einem Ergebnis eines Algorithmus ein größeres Maß „Wahrheit“ zugesprochen wird als einer humanen Stimme. Jedoch ist auch der Algorithmus – siehe oben – menschlich bestimmt und per se so nicht wahrer oder gerechter.

Selbst die Programmierer eines selbstlernenden Algorithmus wird nicht immer und mit der Zeit immer weniger in der Lage sein, Entscheidungen von lernenden Algorithmen nachzuvollziehen. Hier stoßen wir auf ein umfassendes gesellschaftliches und ethisches Problem: lassen wir selbstlernende Maschinen uns Menschen beherrschen? Wie gehen wir mit menschlichen „Einsprüchen“ um? Wie sind derartige ethische Regulierungen technisch in einen Algorithmus zu implementieren? Ist das überhaupt möglich? Diese Fragen müssen einem politisch gesellschaftlichen Diskurs zugeführt werden – im klaren Bewusstsein, dass ein klares eindeutiges „richtig“ nur schwerlich und sicher nicht endgültig zu finden ist. Zugleich ist eine also unvollkommene (gesetzliche) Regeln dringend erforderlich, um die nur in Teilen rationale ethisch moralische – menschliche – Werteordnung vor absolut schlussfolgernden aber von Menschen nicht mehr nachvollziehbare Maschinenentscheidungen zu verteidigen und zu schützen.
Essenzielle Entscheidungen, die über Menschen getroffen werden, dürfen nicht ausschließlich maschinell erzeugt werden. Maschinelle Programme können solche Entscheidungen sehr wohl unterstützen, doch im Eingestehen, dass Algorithmen nicht alles können, sollte – so ineffizient dies aus wirtschaftlicher Sicht auch erscheinen mag – eine Entscheidung, die Menschen qualifiziert, ihnen Chancen ermöglicht (oder auch nicht) stets von Menschen letztkontrolliert werden, ganz egal wie schwierig die Berücksichtigung ethisch-moralischer Faktoren sein mag. Denn so schwierig es sein mag, Menschen mit Richtlinien und Gesetzen für die Berücksichtigung ethisch moralischer Faktoren auszustatten, es erscheint mir einfacher als ethisch moralische Faktoren in maschinellen Code zu übersetzen.

Unternehmen setzen ihre algorithmischen Blackboxes als objektiv und unfehlbar. Algorithmen sind es allerdings – wie O’Neils Buch zeigt – keinesfalls. Weder in wirtschaftlicher Sicht – warum sonst würden sie permanent „verbessert“? Im Besonderen muss die Kraft ihres gesellschaftlichen Einflusses erkannt, diskutiert und kontrolliert werden.

Das Trugbild der „objektiven Algorithmen“, die ein gesellschaftlich akzeptiertes wirtschaftliches Interesse der Unternehmen befördern, enttarnt O’Neil mit ihrem Buch. Sie endet mit folgendem Aufruf:

Diese Entwicklungen sind Teil eines größeren Trends, demzufolge Daten privatisiert und privat genutzt werden, um private Profite zu erzeugen und Macht zu gewinnen, während die Öffentlichkeit von diesem Prozess ausgeschlossen und angehalten wird, sich ordentlich zu benehmen und den Algorithmen zu vertrauen. Es ist an der Zeit, sich dagegen zu wehren. […]
Ich rufe dazu auf, ein Regelwerk aufzubauen, mit dem wir jetzt und in Zukunft die Algorithmen zur Rechenschaft ziehen können. (AdA S. 250)

Ich möchte das Zitat mit einem für mich wichtigen Zusatz erweitern: Die gesellschaftliche Verantwortung der Unternehmen, die mit ihrer Macht (der Algorithmen) einhergeht, muss gesellschaftlich – von der Öffentlichkeit, aber insbesondere von den gesellschaftlichen gewählten Vertretern, den Politikern aktiv eingefordert und wenn erforderlich rechtlich erzwungen werden.
Es ist für eine Transparenz der Algorithmen mindestens der sehr einflussreichen Unternehmen wie zum Beispiel Facebook zu sorgen (zumindest für eine gesellschaftlich akzeptierte Prüfkommission), damit die Art der Einflussnahme öffentlich gemacht und diskutiert werden kann.

In der Verwendung und Kreation von Algorithmen muss die verbindende Kommunikation zwischen jenen, die die ethisch-moralischen oder gesellschaftlichen Konsequenzen ausdiskutieren und ermessen und denen die Algorithmen umsetzen, gefördert werden. Dieser Austausch setzt ein hohes Maß an Verständnis beider Seiten voraus, um Algorithmen vielleicht weniger perfekt, aber dafür mit dem geeigneten Maß an Gerechtigkeit auszugestalten. Aus meiner Sicht ist dieses Ziel nur interdisziplinär zu erreichen.

Jetzt erst Lust auf mehr? Dann lesen Sie die komplette Buchreflexion von Cathy O‘Neil Buch „Angriff der Algorithmen“ Sie enthält viele Beispiele und ausführliche Zitate des Buchs. Hier geht’s zum Download.

Und prompt ein dazu passender Artikel in der ZEIT 2/18 vom 4.1.2018 und hier online einzusehen.