Stellungnahme zum Entwurf eines Digitalisierungsgesetzes für Schleswig-Holstein

Dem Mehr Demokratie e.V. Schleswig-Holstein wurde die Möglichkeit gegeben, zum Entwurf eines Gesetzes zur Förderung der Digitalisierung und Bereitstellung von offenen Daten und zur Ermöglichung des Einsatzes von datengetrieben Informationstechnologien in der Verwaltung Stellung zu nehmen.

IT-Einsatz-Gesetz

Mit dem IT-Einsatz-Gesetz betritt Schleswig-Holstein bundesweites Neuland und schafft die gesetzlichen Grundlagen für die verstärkte Nutzung von Künstlicher Intelligenz (KI). Dabei werden treffend sowohl die Chancen als auch die Gefahren analysiert. Denn KI-Systeme können durchaus strukturelle Ungleichgewichte verschärfen, was am ehesten die Schwächsten in einer Gesellschaft trifft. Dementsprechend sind die Grundprinzipien in § 1 Absatz 2 vollumfänglich zu unterstützen, insbesondere aus unserer Perspektive der Verweis auf die informelle Selbstbestimmung sowie die Aufführung der Prinzipien des Vorrangs des menschlichen Handelns, der menschlichen Aufsicht und Verantwortlichkeit, der Transparenz und der Nicht-Diskriminierung.

Die folgend deklinierten Ausnahmen (§ 2 Absatz 2), in denen datengetriebene Informationstechnologien nicht zulässig sind, sind unserer Ansicht nach jedoch noch durch zwei Punkte zu ergänzen:

  • Verbot der biometrischen Fernidentifizierung (Remote Biometric Identification - RBI), und zwar in der "Echtzeit"- und "Post"-Verwendungen, die gleichermaßen schädlich sein können. Mit der RBI wird eine aus der Ferne erfolgende, skalierbare Identifikation möglich sowie die Verarbeitung ihrer biometrischen Daten. Die von RBI-Systemen ausgehenden Risiken für die Rechte und Freiheiten des Einzelnen, wie z. B. die Live-Gesichtserkennung im öffentlichen Raum, sollten nicht unterschätzt werden. Unter Punkt 4 wird jedoch lediglich einer „massenweisen Identifikation von Personen bei Versammlungen oder Veranstaltungen anhand von biometrischen Merkmalen“ vorgebeugt. Dabei können RBISysteme leicht zu einem allgegenwärtigen und allumfassenden Überwachungskomplex werden, wie durch eine „schleichende Ausweitung der Zweckbestimmung“. So wurden beispielsweise Stimmen laut, die RBI-Systeme oder Teile anderer technischer Infrastrukturen zur Bekämpfung der anhaltenden Pandemie nutzen wollten, beispielsweise zur Kontrolle des Abstandhaltens in Gesellschaft oder des Tragens von Masken oder für Temperaturmessungen (wenn Kameras über integrierte Thermometer verfügen). Derartige Verwendungen von KI und eine schleichende Ausweitung sowie ein derart starker Eingriff in die Privatsphäre des Einzelnen und die damit einhergehenden Möglichkeiten der Überwachung sollte daher ausgeschlossen im Gesetz explizit ausgeschlossen werden. Die Auswirkungen würden nicht nur auf Einzelne einschüchternd wirken, sondern auch allgemein die demokratische Teilhabe einschränken (Chilling-Effect).
  • Zudem sollten bei Punkt 2 „der Erstellung von Prognosen über die Straffälligkeit einzelner Personen oder Personengruppen“ neben Prognosen noch Profile und Risikobewertung aufgenommen werden. Nicht erst die Prognosen ist problematisch, sondern schon die Erstellung des Profils. Dafür werden großer Mengen an Daten zur Erstellung und Verknüpfung, Aktualisierung und Verwendung genutzt, um so ein umfängliches Bild zu erstellen. Algorithmen erstellen dazu Korrelationen, die zu einem fehlerhaften Profil und damit ebensolchen Schlussfolgerungen führen können – gleich ob diese am Ende von KI oder Menschen auf Grundlage dieses Profils gezogen werden.

Die Verantwortlichkeit, inklusive der Überprüfung auf obengenannte Einschränkungen und Ausschlusskriterien der KI sowie deren Einordnung in die jeweilige Automationsstufe wird dabei den einzelnen Landesbehörden überlassen. Sowohl der Kenntnisstand als auch die Motivation einer regelmäßigen kritischen Überprüfung bleibt dabei aber zu Hinterfragen. Denn hat sich ein
derartiges System erst im Verwaltungsablauf eingespielt, ist ein Entfernen auf eigene Initiative eher unwahrscheinlich. Dementsprechend wäre eine übergeordnete Prüfstelle anzuraten, die ggf. ein Risikoregister erstellt und je nach Klassifizierung der KI den Behörden weitere Auflagen erteilt und Aktualisierungsmechanismen im Zuge der technischen Entwicklung bestimmt. Dieser Prüfstelle sollte es somit auch obliegen eine Folgenabschätzung für die in § 2 genannten Kriterien und der Grundrechte durchzuführen. Auch eine Folgeabschätzung nach der DSGVO wäre denkbar, wenn damit die Kategorien von Einzelpersonen und Gruppen benannt werden, die wahrscheinlich von dem System betroffen sind, und die Auswirkungen des Systems auf die Grundrechte, seine Zugänglichkeit für Menschen mit Behinderungen sowie seine Auswirkungen auf die Umwelt und das allgemeine öffentliche Interesse bewertet werden.

An dieser Stelle wäre auch ein Austausch mit anderen Bundesländern und der Zivilgesellschaft anzuraten. Die dafür geforderte Transparenz der Algorithmen kann dafür die Basis bieten. Das hier keine Soll- oder Kann-Formulierungen zu finden ist, bleibt hervorzuheben. Es sollte aber sichergestellt werden, dass neben relevanten Behörden, wie die Datenschutzbehörde und Gleichstellungsstellen, auch Organisationen der Zivilgesellschaft, KMU sowie Umwelt-, Verbraucher- und soziale Interessengruppen bei der Evaluation der KI vertreten sind und in die Lage versetzt werden, sich effektiv zu beteiligen.

Ebenso positiv hervorzuheben ist die Benachrichtigung von Einzelpersonen bei der Kommunikation mit KI und bei Entscheidungen, insbesondere in Form von Verwaltungsakten, bei denen eine teilweise oder vollständige Bearbeitung datengetriebenen Informations-technologien stattgefunden hat. In diesem Zuge ist auch die Möglichkeit der KI-Rüge zu nennen, welche wir sehr begrüßen.

Da die unverhältnismäßigen negativen Auswirkungen von KI-Systemen auf bereits marginalisierte Gruppen (insbesondere Frauen*, rassifizierte Menschen, Migranten, LGBTIQ+-Menschen, Menschen mit Behinderungen, Sexarbeiter, Kinder und Jugendliche, ältere Menschen) immer wieder dokumentiert werden, sollte sichergestellt werden, dass die Kontrollinstanzen mit den notwendigen Ressourcen ausgestattet werden und dass eine regelmäßige Evaluation mit wissenschaftlicher und zivilgesellschaftlicher Begleitung stattfindet.

Haben Sie Fragen oder Anregungen?

Simon Strohmenger
Mehr Demokratie e.V.
Haus der Demokratie und Menschenrechte
Greifswalder Str. 4
10405 Berlin
www.mehr-demokratie.de

  • Positionspapier zum Digitalisierungsgesetz

    Laden Sie das Positionspapier zum Entwurf des Digitalisierungsgesetzes als PDF herunter

    10. Dezember 2021