Was je nach Perspektive dys- oder utopisch klingen mag, ist schon näher an der Realität, als man glauben mag – obwohl es eigentlich gar nicht erlaubt ist. Denn laut DSGVO dürfen Entscheidungen über Menschen nicht allein von Algorithmen, Computern und ihren Berechnungen getroffen werden. Praktisch wird allerdings oft bereits die automatisierte Entscheidung nur noch formal von einem Menschen abgesegnet – ohne weiter darüber nachzudenken oder sie zu hinterfragen.
Das ist technisch gesehen legal – die finale Entscheidung wird ja, wenn auch nur formell, von einem Menschen getroffen. Es handelt sich hier jedoch um eine Grauzone. Art. 22 Abs. 1 DSGVO ist so formuliert, dass die Entscheidung über Menschen nicht „ausschließlich“ algorithmisch getroffen werden darf. Solange ein Mensch also, überspitzt formuliert „ein Häkchen setzt“, befindet es sich im Rahmen der Legalität. Außerdem führt die DSGVO aus, dass eine ausschließlich automatisierte Entscheidung ausnahmsweise stattfinden darf, wenn die Entscheidung „für den Abschluss oder die Erfüllung eines Vertrags zwischen der betroffenen Person und dem Verantwortlichen erforderlich ist“. Juristisch sind die Grenzen in diesem Kontext eher schwammig und bieten somit Spielraum für Unternehmen, Institutionen und Organisationen, Entscheidungen effektiv von künstlichen Intelligenzen mit höchstens minimalem menschlichem Input generieren zu lassen. Theoretisch bietet die DSGVO auch die Möglichkeit für staatliche Aufsichtsbehörden die Einhaltung der Regelungen zu überwachen. In der Praxis sind jedoch nicht genügend Ressourcen, geschweige denn genügend Personal vorhanden [5]
Über die Legitimität kann jedoch gestritten werden. Wenn es sich beispielsweise, wie eingangs angeführt, um ein Bewerbungsverfahren handelt, trifft zwar in den meisten Fällen eine Person die letzte Entscheidung; Wenn allerdings ein Algorithmus vorher aufgrund von Personenfaktoren, Schlagwörtern oder anderen Entscheidungsvorlagen in der Programmierung alle Bewerber:innen bis auf einen aussortiert und mit dem „Nicht Einstellen!“-Stempel versieht, ist die Chance dass die zuständige Person nochmal alle „unwürdigen“ Bewerber:innen durchgeht eher gering. Das kann nicht nur unfair sein und sich am Rande der legalen Grauzone bewegen, ein solches Verfahren führt auch zu einem Verlust von Vertrauen gegenüber dem Unternehmen.
Es kommt über derart automatisierte Prozesse außerdem zur Reproduktion gesellschaftlicher Ungleichheiten, die in den angewandten Daten- und Entscheidungsmodellen vorliegen. Die Folge ist die (gewollte oder ungewollte) Ausgrenzung, Diskriminierung möglicherweise betroffener Menschen mit weitreichenden Auswirkungen.
Ein weiteres Beispiel für legale, aber illegitime Nutzung von Algorithmen findet sich in der Kreditvergabe [1]. Zunehmend werden für diese höchstsensible, teils lebensverändernde Entscheidung Computer und automatisierte Prozesse herangezogen. Auch für die Banken selbst kann das einen Nachteil darstellen, da die Kreditvergabe für beide Seiten mit Risiken verbunden ist. Und während derartige Prozesse für Banken nicht zwangsläufig eine Neuheit sind und beispielsweise auch für die Portfolio-Verwaltung genutzt werden, erfolgt in der Regel keine Information der Kund:innen wenn ihre Bank künstliche Intelligenzen nutzt, um Entscheidungen für oder gegen Kreditwürdigkeit zu treffen. Während Firmenkunden in der Regel den „Luxus“ genießen, noch durch menschliche Entscheider:innen bewertet zu werden, fällt für Privatkunden eine Entscheidung oftmals ohne, dass an irgendeiner Stelle ein Mensch involviert ist. Neben der Person, die den Kredit möchte, natürlich. Die automatische Auswertung bestimmter Datenkategorien ist zur Berechnung von Zahlungsfähigkeit grundsätzlich verboten. Nach Nancy Faeser, der ehemaligen Bundesministerin für Inneres und Heimat, fallen darunter vor allem Daten zur ethnischen Herkunft, Gesundheitsdaten oder persönliche Informationen aus sozialen Netzwerken sowie die Wohnanschrift, die bei der automatisierten Berechnung der Zahlungsfähigkeit einer Person keine Rolle spielen dürfen. Welche Daten für eine solche Berechnung letztendlich verwendet werden ist nur schwer einzusehen, wie im folgenden Abschnitt erklärt wird.
Ein ethisches Kernproblem dieser Form von Verarbeitung stellt allerdings die mangelnde Transparenz dar. Dieses Problem ergibt sich aus zweierlei Ursachen: Einerseits stellen maschinell lernende Algorithmen oft „Blackboxes“ dar. Darunter versteht man, dass In- und Outputs zwar für Außenstehende sichtbar sind – die Verarbeitung, die aus dem Input den Output fabriziert, allerdings nicht. Diese Algorithmen entwickeln sich ständig auf Grundlage vorheriger Verarbeitungen, Inputs und Feedback weiter. Dadurch sind zwar die ursprünglichen Anweisungen und Wirkweisen des Algorithmus‘ noch einsehbar hinterlegt – die weiterentwickelte und aktualisierte Version der Verarbeitung ist jedoch nicht mehr zugänglich.
Andererseits sind Algorithmen häufig wohlbehütetes Firmengeheimnis. In diesem Fall sind Informationen zur Verarbeitung zwar prinzipiell verfügbar, der Öffentlichkeit aber nicht zugänglich. Dabei kommt es dann zur Abwägung der verschiedenen Interessen gegeneinander: des Rechts auf informationelle Selbstbestimmung der Einzelnen auf der einen, und des Rechts auf Datenverarbeitung des Unternehmens auf der anderen Seite. In der DSGVO sind in dieser Hinsicht verschiedene Betroffenenrechte vorgesehen – so beispielsweise das Recht auf Auskunft (Art. 15) oder das Recht auf Löschung (Art. 17). Besonders letzteres kann aber nur unter sehr engen Bedingungen tatsächlich wahrgenommen werden – sodass selbst da schon die Abwägung von Unternehmens- und Individualrechten gegeneinander stattfindet [4].
Dort, wo Maschinen effektiv Entscheidungen über Menschen treffen – auch wenn formell ein Mensch das letzte Häkchen setzt – sollte diese Methodik nur bei vollständiger Offenlegung der zugrundeliegenden Programmierung zulässig sein. Nur so kann sie für unabhängige Kontrollen zugänglich gemacht werden.
Die Datenbanken und Entscheidungsgrundlagen, mit denen Algorithmen und künstliche Intelligenzen „gefüttert“ und trainiert werden, sind in der Regel nicht frei von Vorurteilen [2]. Während es sich hierbei normalerweise nicht um offene oder gezielte Diskriminierung handelt, können zumindest strukturelle oder institutionelle Ungleichheiten oft unentdeckt in diese Datenbanken einfließen. Besonders bei Entscheidungsprozessen, deren Ergebnisse Menschen betreffen, deren Entscheidungen aber großteils von Menschen losgelöst getroffen werden, kann es zur Reproduktion und Weiterverbreitung dieser Vorurteile und Diskriminierung kommen – mit weitreichenden Folgen.
Um für eine möglichst legitime Nutzung von Algorithmen in Ihrer Organisation zu sorgen, sollten Sie versuchen die folgenden drei Aspekte nutzerfreundlicher Eigenschaften zu erreichen [3]:
Vertrauen - Nachvollziehbare Entscheidungen unterstützen eine verantwortungsvolle Nutzung von KI-Systemen. Durch Transparenz und Darlegung der Entscheidungsprozesse und -grundlagen kann das Vertrauen der Klienten gewonnen werden.
Implementierung der regulatorischen Anforderungen – Insbesondere im Hinblick auf den AI-Act der EU wird es zunehmend notwendig, dass Entscheidungen und zugrundeliegende Prozesse, Risikofaktoren und Datenbanken erklärbar sind oder gemacht werden können.
Fehler- und Risikoerkennung – Sofern automatisierte Entscheidungsmodelle von Menschen überwacht oder zumindest gewartet werden, können fehlerhafte Trainingsdaten oder zuvor angebrachte Verzerrungen, Vorurteile und Diskriminierungen frühzeitig erkannt und angegangen bzw. beseitigt werden.
Um zu verstehen, was der AI Act der EU bedeutet und wie er sich auf Ihre Organisation auswirkt, hat die dazugehörige EU-Kommission hilfreiche Werkzeuge bereitgestellt. Hier finden Sie ein Formular, mithilfe dessen Sie überprüfen können, inwiefern die Guidelines des AI Acts auf Sie zutreffen. Hier hat die EU-Kommission Informationen spezifisch für kleine und mittelständische Unternehmen bereitgestellt und unter diesem Link finden Sie die wichtigsten Aspekte des AI Acts für Mitarbeitende mit Führungsverantwortung – aufbereitet um in 10 Minuten einen schnellen Überblick zu erhalten.
Autor: Martin Köhler
[2] https://www.digitalzentrum-fokus-mensch.de/kos/WNetz?art=News.show&id=1963
[3] https://www.digitalzentrum-fokus-mensch.de/kos/WNetz?art=News.show&id=2752
[4] https://www.dr-datenschutz.de/kuenstliche-intelligenz-ki-algorithmen-und-die-dsgvo/
[5]https://www.bfdi.bund.de/DE/Buerger/Inhalte/Allgemein/Datenschutz/GrundlagenDatenschutzrecht.html
