In den letzten Jahren haben wir enorme Fortschritte auf dem Gebiet der künstlichen Intelligenz (KI) erlebt, die einerseits enorme Chancen und andererseits große Risiken mit sich bringen.
Wie wir in der letzten Ausgabe berichtet haben, ist die Regulierung von KI weltweit auf dem Vormarsch. In der Europäischen Union wurde kürzlich nach einem langwierigen Gesetzgebungsverfahren das KI-Gesetz verabschiedet.
Das Problem, die richtigen Regeln für KI zu finden, ist viel tiefgreifender, als es auf den ersten Blick scheinen mag, denn der Einsatz von KI wird in der EU auch in Bereichen reguliert werden, in denen es nur wenige erwarten würden, wie z.B. in Aufzügen, Verkehrsschildern oder sogar in einigen medizinischen Anwendungen. Ziel dieses Artikels ist es, den Lesern das grundlegende Spektrum der Einrichtungen vorzustellen, die von dieser Verordnung betroffen sein werden.
Das Gesetz über künstliche Intelligenz (KI-Gesetz) basiert auf einer Kategorisierung der Risiken, die von einem bestimmten KI-System ausgehen. Es werden vier Arten von Risiken unterschieden:
- Verbotene Systeme: Systeme mit dem höchsten Risiko.
- Systeme mit erheblichem Risiko: Diese Systeme werden als Hochrisikosysteme bezeichnet. Dies sind die am stärksten regulierten Systeme im AI Act.
- Systeme mit begrenztem Risiko: Diese sind stark reguliert, insbesondere in Artikel 50 des AI-Gesetzes.
- Systeme mit minimalem Risiko: Sie werden nicht reguliert, weil ihr Risiko sehr begrenzt ist.
Wussten Sie, dass die OCR-Technologie auch als KI-System betrachtet wird? Allerdings birgt sie wahrscheinlich nur ein minimales Risiko. Ein sogenanntes Social Scoring System hingegen läuft Gefahr, verboten zu werden.
Verbotene Systeme
Verbotene KI-Systeme sind solche, die physischen oder psychischen Schaden anrichten können, indem sie das Verhalten manipulieren oder die Schwächen von Kindern oder älteren Menschen ausnutzen. Social Scoring und der Einsatz von KI, die aufgrund von Verhalten oder Eigenschaften diskriminieren, sind ebenfalls verboten, ebenso wie die biometrische Fernidentifizierung von Personen an öffentlichen Orten in Echtzeit, außer unter sehr speziellen Umständen.
Zur Veranschaulichung finden Sie hier eine kurze Liste von verbotenen Systemen, die KI verwenden:
- Manipulative Techniken zur Beeinflussung des Verhaltens von Menschen ohne deren Wissen: zum Beispiel eine App, die visuelle oder akustische Hinweise verwendet, um Nutzer zum Kauf eines bestimmten Produkts zu bewegen.
- Das Ausnutzen der Schwachstellen von Menschen aufgrund von Alter, Behinderung oder sozialer oder wirtschaftlicher Situation, um ihr Verhalten zu beeinflussen: Dazu kann ein Werbesystem gehören, das gezielt Werbung für teure Medikamente für ältere Menschen oder Menschen mit gesundheitlichen Problemen schaltet.
- Soziales Scoring von Menschen auf der Grundlage ihres Sozialverhaltens und ihrer persönlichen Eigenschaften mit negativen Folgen: Ein Beispiel ist ein System, das Bürgern auf der Grundlage ihrer Online-Aktivitäten soziale Scores zuweist und ihren Zugang zu Dienstleistungen wie Wohnraum oder Beschäftigung beeinflusst.
- Profiling oder persönlichkeitsbasierte Bewertung des Kriminalitätsrisikos: ein KI-System, das das zukünftige kriminelle Verhalten von Personen allein auf der Grundlage ihrer früheren Aufzeichnungen und Persönlichkeitsmerkmale vorhersagt, ohne weitere Beweise.
- Erstellen oder Erweitern von Gesichtserkennungsdatenbanken durch die Extraktion von Gesichtsmerkmalen: ein System, das die Gesichter von Personen aus öffentlichem CCTV-Material ohne deren Wissen oder Zustimmung sammelt und analysiert.
- Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (außer aus Gesundheits- oder Sicherheitsgründen): ein KI-System, das die Emotionen von Mitarbeitern während des Arbeitstages überwacht und analysiert, um ihre Leistung zu bewerten.
- Biometrische Kategorisierung von Personen auf der Grundlage biometrischer Daten, um Rückschlüsse auf Ethnie, politische Ansichten, Gewerkschaftszugehörigkeit, religiöse Überzeugungen, Sexualleben oder sexuelle Orientierung zu ziehen: ein System, das biometrische Daten analysiert, um die religiösen Überzeugungen oder politischen Ansichten einer Person zu bestimmen, und diese Daten für diskriminierende Zwecke verwendet.
- Einsatz von KI-Systemen für die biometrische Fernidentifizierung in öffentlichen Räumen in Echtzeit zu Strafverfolgungszwecken (mit Ausnahmen für bestimmte schwerwiegende Fälle): ein System, das öffentliche Räume kontinuierlich überwacht und Personen in Echtzeit identifiziert, z. B. auf einem Flughafen, ohne eine angemessene Rechtsgrundlage.
KI-Systeme mit hohem Risiko
Im Allgemeinen werden ausgewählte Methoden aufgrund ihrer Verwendung im Rahmen des AI-Gesetzes als Hochrisikosysteme betrachtet. Diese Methoden sind alle im KI-Gesetz aufgelistet, obwohl sie sich von Zeit zu Zeit durch eine Entscheidung der Europäischen Kommission ändern können. Zusammengefasst werden die folgenden KI-Systeme, die in den folgenden Bereichen eingesetzt werden, als hochriskant eingestuft:
- Biometrie
- Kritische Infrastrukturen: Sicherheitskomponenten bei der Verwaltung und dem Betrieb von kritischen Infrastrukturen, einschließlich digitaler Infrastrukturen.
- Bildung und Ausbildung
- Beschäftigung, Verwaltung von Arbeitnehmern und Zugang zur Selbstständigkeit
- Zugang zu und Inanspruchnahme von wesentlichen privaten Dienstleistungen und wesentlichen öffentlichen Diensten und Leistungen
- Strafverfolgung: Soweit ihre Verwendung nach dem einschlägigen Unionsrecht oder nationalen Recht zulässig ist.
- Verwaltung von Migration, Asyl und Grenzkontrollen
- Rechtspflege und demokratische Prozesse
Eine weitere Möglichkeit, ein Hochrisikosystem zu identifizieren, besteht darin, zu prüfen, ob das System als Sicherheitsbauteil dient und ein Sicherheitsbauteil eines Produkts ist, das unter die Harmonisierungsrechtsvorschriften der Europäischen Union fällt. Dieses Produkt muss einer Konformitätsbewertung durch einen Dritten unterzogen werden, um auf den Markt gebracht oder gemäß den europäischen Vorschriften in Betrieb genommen werden zu können. Dieser Abschnitt ist für Betreiber oder Importeure wichtig, denn wenn ihr Produkt einer Konformitätsbewertung durch einen Dritten unterzogen werden muss, handelt es sich wahrscheinlich um ein Hochrisikosystem, das vielen Verpflichtungen unterliegt.
Beispiele für Bereiche mit hohem Risiko:
- Sicherheit von Spielzeug
- Sportboote und Jetskis
- Aufzüge und Sicherheitskomponenten für Aufzüge
- Geräte und Schutzsysteme in explosionsgefährdeten Bereichen
- Funkgeräte
- Druckgeräte
- Seilbahn-Einrichtungen
- Persönliche Schutzausrüstung
- Geräte, die gasförmige Brennstoffe verbrennen
- Medizinische Geräte und In-vitro-Diagnostika, einschließlich bestimmter medizinischer Anwendungen
Diese Beispiele veranschaulichen das breite Spektrum an Bereichen, in denen ein KI-System als risikoreich eingestuft werden kann und daher einer strengen Regulierung und Compliance-Bewertung unterliegt.
Wer hätte gedacht, dass das KI-Gesetz neben hochentwickelten Anwendungen auch für Aufzüge, persönliche Schutzausrüstungen oder sogar Spielzeug gelten würde, wenn ein Teil davon auf dem Einsatz von KI beruht. Und die Definition von KI ist ziemlich weit gefasst! Wir möchten daher darauf hinweisen, dass diese Verpflichtungen nicht nur für Hersteller gelten. Im Falle eines Hochrisikosystems gelten sie auch für fast alle Beteiligten in der Lieferkette.
Verpflichtete Unternehmen
Aus praktischer Sicht ist es am wichtigsten, zu beurteilen, welche Verpflichtungen Personen haben, wenn eine bestimmte Anwendung oder ein bestimmtes Geschäftsmodell in einem Bereich identifiziert wurde, der als hochriskant gilt, wie z.B. Biometrie, Spielzeugsicherheit und so weiter. Zum Beispiel werden die folgenden Personen regulatorischen Verpflichtungen unterliegen:
- KI-Produkthersteller: eine Person oder ein Unternehmen, das Produkte mit künstlicher Intelligenz entwickelt und herstellt und sie unter seinem Namen oder seiner Marke vermarktet.
- KI-Anbieter: eine Person oder Organisation, die ein KI-System entwickelt oder entwickelt hat und es unter ihrem eigenen Namen oder ihrer eigenen Marke vermarktet. Dabei kann es sich um ein Unternehmen, eine Regierungsstelle, eine Behörde oder eine andere Einrichtung handeln, die das KI-System entweder gegen eine Gebühr oder kostenlos zur Verfügung stellt.
- Anwender (KI-Nutzer): Eine Person oder Organisation, die ein KI-System im Rahmen ihrer Arbeit oder Tätigkeit nutzt, es sei denn, das KI-System wird für persönliche und nicht berufliche Zwecke verwendet.
- Importeur: Eine Person oder ein Unternehmen mit Sitz in der Europäischen Union, das ein KI-System vertreibt, das unter dem Namen oder der Marke eines Unternehmens aus einem anderen Land außerhalb der EU hergestellt wurde.
- Händler: eine Person oder ein Unternehmen in der Lieferkette, das ein KI-System auf dem Markt der Europäischen Union zur Verfügung stellt, aber kein Anbieter oder Importeur ist.
Jeder dieser Beauftragten unterliegt dem AI-Gesetz und vielen der damit verbundenen Verpflichtungen.
Die Regulierung der künstlichen Intelligenz durch das KI-Gesetz ist ein wichtiger Schritt in Richtung einer sicheren Nutzung von KI-Technologien. Diese neuen Vorschriften werden ein breites Spektrum von Bereichen berühren und Verpflichtungen für Hersteller, Anbieter, Nutzer, Importeure und Händler von KI-Systemen einführen, sogar in unerwarteten Bereichen wie Spielzeug.
Wenn Sie festgestellt haben, dass Ihre Anwendung oder Ihr Geschäftsmodell in die Kategorie der Hochrisikosysteme fallen könnte, ist es wichtig, die notwendigen Schritte zu unternehmen, um die Verpflichtungen aus dem AI Act zu erfüllen. Zögern Sie nicht, sich an Experten zu wenden, die Ihnen helfen, Ihr System so einzurichten, dass es den gesetzlichen Anforderungen entspricht.
Der Einsatz von KI-Technologien birgt ein enormes Potenzial für Innovation und Wachstum, aber nur, wenn dabei die Sicherheit des Einzelnen im Vordergrund steht. Das KI-Gesetz ist ein Schritt in die richtige Richtung und seine Einhaltung trägt dazu bei, das Vertrauen der Öffentlichkeit in KI und ihren positiven Nutzen für die Gesellschaft zu stärken.
