„Sie sind verurteilt, passive Objekte des Algorithmus zu sein“

Täglich klicken Menschen auf Kaufempfehlungen, die Algorithmen ihnen aufgrund ihrer Vorlieben geben. Oder sie folgen einer Route, die das Navi anbietet. Besonders folgenreich oder die Freiheit einschränkend ist das nicht. Doch zunehmend seien Algorithmen an deutlich wichtigeren Urteilen über Menschen beteiligt, wie es in einer aktuellen Studie des Karlsruher Instituts für Technologie heißt.

Autor Carsten Orwat hat 47 Beispiele aus Arbeitsleben, Immobilienmarkt, Handel, Werbung, Kreditwesen, Medizin und Verkehr zusammengetragen. Auch die Organisation Algorithmwatch hat untersucht, wie Algorithmen über den Zugang von Menschen zu wichtigen Diensten oder Leistungen mitentscheiden.

Computer benoten, beurteilen oder machen Vorhersagen über ein bestimmtes Verhalten. Ein Algorithmus der österreichische Arbeitsvermittlung AMS sortiert Arbeitslose nach ihren Chancen auf dem Arbeitsmarkt, derzeit im Testbetrieb, ab 2020 regulär. Im schwedischen Trelleborg erhielten tausende Arbeitslose aufgrund einer automatisierten Entscheidung keine Sozialleistungen. In Spanien entscheidet ein Computer, ob arme Haushalten einen staatlichen Zuschuss für ihre Stromkosten bekommen sollen oder nicht.

Auch in Deutschland beeinflussen Algorithmen menschliche Geschicke. Mitarbeiter der Arbeitsagentur beurteilen die Chancen ihrer „Kunden“ auf Arbeit mithilfe von Software. Die Behörde arbeitet zudem an einem Algorithmus namens „Automatisierte Antragsbearbeitung Arbeitslosengeld“. Die Mannheimer Polizei lässt sich von Kollege Computer auf potenzielle Täter hinweisen: Dort erkennt ein intelligentes Videoüberwachungssystem verdächtige Bewegungen, etwa Schlagen oder Treten. Das Scoring der Auskunftei Schufa schließlich, ebenfalls von einem Algorithmus berechnet, kann Verbrauchern den Zugang zu Krediten oder zu Internetverträgen verstellen.

Wie verbreitet sind solcherlei Algorithmen, welche Folgen hat das und was kann der Einzelne tun?

Riffreporter hat Nicolas Kayser-Bril von Algorithmwatch neun Fragen zu Algorithmen gestellt, die Menschen gesellschaftlich ausschließen können.

Herr Kayser-Bril, wie verbreitet sind solche Algorithmen?

Das weiß niemand. Es gibt viele Beispiele für Algorithmen, mit denen Arbeitssuchende nach ihren Chancen auf Arbeit sortiert werden, wie im österreichischen Arbeitsmarktservice, oder für Algorithmen zur Beurteilung des Anspruchs auf weitere Sozialleistungen, wie im schwedischen Trelleborg. Unsere Arbeit zeigt, dass die Verbreitung dieser Algorithmen zunimmt, da Pilotprojekte oft zeitlich und inhaltlich verlängert und selten eingestellt werden. Solange es jedoch kein obligatorisches Register für solche Algorithmen gibt, zumindest für die im öffentlichen Sektor genutzten, wird es unmöglich bleiben, den Umfang des Problems genau zu beurteilen.

Welche Entscheidungen treffen Algorithmen?

Soweit wir wissen, können Algorithmen im öffentlichen Sektor in einer Vielzahl von Anwendungen eingesetzt werden:

• über das Recht des Antragstellers auf Leistungen entscheiden.
• Arbeitssuchende gemäß einer Skala der Beschäftigungsfähigkeit sortieren.
• Zugang per Gesichtserkennung (mehrere Experimente an Schulen in Schweden und Frankreich; im Madrider Verkehrssystem; an mehreren Flughäfen).
• Anomalien im öffentlichen Raum aufdecken, durch Auswertung von Videoüberwachung, beispielsweise bei der Detektion von verdächtigen Bewegungen durch ein intelligentes Kamerasystem in Mannheim.
• Terrorismus aufdecken.
• Ärzte unterstützen, eine Diagnose zu stellen.
• im privaten Bereich werden solche Algorithmen noch häufiger genutzt. Nur einige Beispiele, die sich auf die Teilnahme eines Benutzers am öffentlichen Leben auswirken:
• entscheiden, was eine Person in ihrem Newsfeed lesen darf (Facebook, Instagram, teilweise Twitter).
• die Eigenschaften eines Bewerbers bewerten (HireVue, Precire, 100 Worte)
• entscheiden, wen ein Single daten soll (Tinder, Bumble).
• die Leistung eines Mitarbeiters bewerten (Amazon u.a.)
• automatisiertes Fahren

Welche Vorteile bringen die Algorithmen?

Es ist schwer, zu sagen, was der genaue Nutzen ist, da nur wenige Betreiber von Algorithmen ihre Daten veröffentlichen oder zumindest unabhängige Auditoren eingeladen haben, ihren Service zu bewerten. Einige behaupten, dass Algorithmen schnellere Entscheidungen ermöglichen, etwa bei den Sozialleistungen in Trelleborg, oder dass sie eine Situation besser erfassen können als Menschen, beispielsweise bei Österreichs AMS-Algorithmus zur Arbeitsvermittlung. Diese Ansprüche sind nicht begründet.

Wo sehen Sie ethische Konflikte?

Algorithmen werden oft verwendet, um menschliche Tätigkeiten zu ersetzen. In Bereichen, in denen der menschliche Bediener eine Maschine steuerte, wie etwa bei Autopiloten, gibt es wenig oder gar keine ethischen Konflikte. Wo jedoch der menschliche Aspekt einer Tätigkeit im Mittelpunkt steht, insbesondere bei Pflege- und Sozialdiensten, stellt die übermäßige Abhängigkeit von Algorithmen eine Gefahr für das gesamte Unterfangen dar. Denn wenn ein Algorithmus einen Menschen kategorisiert, kann er ihn auch diskreditieren. Die Algorithmen verstärken deshalb Stigmata im Zusammenhang mit der Sozialhilfe und sie können die Wirksamkeit der Maßnahme untergraben.

Wer hat die Kontrolle?

Einige Algorithmen sind sehr deterministisch, da das Programm nicht lernt, oder sein Verhalten anpasst. Es handelt sich in der Regel um Entscheidungsbäume, deren Schöpfer alle Bedingungen festgelegt haben, die notwendig sind, um ein bestimmtes Ergebnis zu erzielen. In solchen Fällen liegt die Macht in den Händen der Entwickler des Algorithmus und in den Händen derjenigen, die für ihre Umsetzung verantwortlich sind.

Algorithmen hingegen, die kontinuierlich lernen oder aus einem Datensatz aufgebaut wurden, verhalten sich komplexer, da ihre Funktionsweise von den Daten definiert wird, die zum Trainieren ihrer Modelle verwendet werden. Diejenigen, die entscheiden, mit welchen Daten das Modell trainiert wird, haben enorme Macht. Im Fall des österreichischen AMS-Algorithmus wurden beispielsweise Daten zur Beschäftigung aus der Vergangenheit verwendet. Die Entscheidung, wo der Stichtag gesetzt wird, 2018, 2010 oder gar 1960, wird zu sehr unterschiedlichen Ergebnissen führen.