KI-Verordnung - Verbotene Praktiken

In Artikel 5 der Verordnung 2024/1689 (KI-Verordnung) hat die Europäischen Union daher eine ganze Reihe von Verboten zum Einsatz von Künstlicher Intelligenz erlassen. Seit 2. Februar 2025 sind diese Verbote nun auch unmittelbar gültig.

Im folgenden Beitrag sollen die einzelnen so genannten verbotenen Praktiken kurz beleuchtet werden.

Wichtig hierbei: Beim Einsatz von KI können auch zahlreiche andere gesetzliche Regelungen zu beachten sein. Nur dass der AI-Act eine bestimmte Praktik nicht explizit verbietet, bedeutet daher nicht, dass der entsprechende Einsatz einer KI automatisch legal ist. So können sind neben dem Strafrecht auch zahlreiche weitere Regeln, beispielsweise aus dem Arbeitsrecht oder dem Zivilrecht beachtlich sein.

Nach Artikel 5 Absatz 1 a) der KI-Verordnung sind KI-Systeme verboten, die auf eine Manipulation des Verhaltens von Personen abzielen. So ist die Verhaltensmanipulation durch unterschwellige Beeinflussung, absichtliche Manipulation oder Täuschung untersagt, wenn hierdurch erhebliche Schäden drohen.

Die Leitlinien der Europäischen Kommission zu den verbotenen Praktiken nennen hier beispielsweise einen KI-Chatbot, der sich mittels künstlicher Stimme als Freund oder Verwandten ausgibt und so einen Betrug versucht.[1] Letztlich also eine Fortentwicklung der bereits verbreitet praktizierten „Hier ist dein Sohn/ deine Tochter, bitte überweise mir Geld“ Betrugsmasche.

Ebenfalls verboten sind nun auch bestimmte KI-Systeme, die alte Menschen, Menschen mit Behinderung oder aufgrund ihrer Situation besonders verwundbare Personen ausnutzen sollen.

Ein Beispiel ist hier eine Therapie-KI, die geistig beeinträchtigten Personen teure Medizinprodukte verkaufen soll[1].

Auch hier gilt: Das KI-System ist nach der KI-Verordnung nur verboten, sofern ein erheblicher Schaden droht.

Die an das chinesische Sozialkreditsystem angelehnte Regelung des Artikel 5 Absatz 1 c) KI-VO verbietet die Bewertung des Sozialverhaltens oder persönlicher Eigenschaften von Menschen oder Gruppen („Social Scoring“) zur Benachteiligung oder Schlechterstellung.

Eine umfassende staatliche Kontrolle der Bevölkerung wird mit diesem Verbot jedenfalls ein Stück weit eingeschränkt.    

Auch KI-Systeme, mit deren Hilfe das Risiko ermittelt werden soll, ob Personen zukünftig Straftaten begehen werden, sind nun unter Umständen verboten.

Dieses Verbot gilt allerdings nur für eine Bewertung, die ausschließlich auf Profiling oder der Bewertung der individuellen Merkmale einer Person basiert. Hiervon ausgenommen ist unter gewissen Voraussetzungen auch der Einsatz einer KI zur Aufklärung von kriminellen Aktivitäten.  

Hier versucht der Verordnungsgeber, den Spagat zwischen ausufernder Verbrechensvorhersage und legitimer Strafverfolgung zu meistern.  

Nicht mehr zulässig ist nach Art. 5 Absatz 1e) KI-VO auch das ungezielte Auslesen von Bildern aus dem Internet zur Erstellung oder Erweiterung von Gesichtserkennungsdatenbanken. Solchen umfassenden Datenbanken, die auch zur Bevölkerungsüberwachung eingesetzt werden könnten, ist damit ebenfalls ein Riegel vorgeschoben.  

Am Arbeitsplatz und in Bildungseinrichtungen ist nun nach Art. 5 Absatz 1 f) KI-VO der Einsatz einer KI zur Erkennung von Emotionen grundsätzlich unzulässig.

Ausgenommen hiervon sind allerdings medizinische Gründe oder Sicherheitsgründe. Somit bleibt potenziell ein breites Spektrum an Ausnahmen möglich, wie beispielsweise eine KI zur Erkennung eines Amoklaufs oder eines medizinischen Notfalls.  

Die Einteilung von Personen anhand von Merkmalen wie Rasse, der politischen Einstellung, der Religion oder ähnlichen Merkmalen mittels biometrischer Daten durch ein KI-Systems ist nach Art. 5 Abs.1 g) KI-VO ebenfalls verboten. Hiervon ausgenommen ist allerdings die Strafverfolgung.

Hinter diesem Begriff verbirgt sich der Abgleich von Aufnahmen einer Überwachungskamera mit einer Datenbank nach biometrischen Kriterien wie physischen oder auch psychologischen Merkmalen im öffentlichen Raum in Echtzeit. Da in sehr vielen Bereichen wie Straßen, Zügen und Gebäuden mittlerweile Überwachungskameras zu finden sind, lassen sich gesuchte Personen sehr schnell auffinden.  

Das Verbot solcher Systeme bezieht sich jedoch nur auf Strafverfolgungszwecke, wobei der Begriff der „Strafverfolgung“ nach Art. 3 Nr. 46 KI-Verordnung auch die Abwehr von Gefahren für die öffentliche Sicherheit umfasst.  

Die Regelung kennt allerdings umfangreiche Ausnahmen, beispielsweise zur Lokalisierung von Entführungsopfern oder um Verdächtige bestimmter Straftaten wie Mord, Terrorismus, Menschenhandel aufzufinden.

Die oben genannten Verbote sind im Einzelfall sehr komplex ausgestaltet und die Grenzen des rechtlich zulässigen werden sich erst in Zukunft durch Rechtsprechung und Maßnahmen der Aufsichtsbehörden herausbilden. Es bleibt also spannend. Immerhin existiert nun allerdings ein konkreter Verbotsrahmen für bestimmte Praktiken.

Falls Sie Fragen zum geschilderten Thema und/oder zu anderen datenschutzrelevanten Themen haben, kontaktieren Sie uns einfach!

Zentrale Hutthurm: +49 (0) 8505 91927 – 0

Niederlassung München: +49 (0) 89 413 2943 – 0

Oder nutzen Sie unser Kontaktformular.