EU AI Act: Neue Standards für den Einsatz von Künstlicher Intelligenz

Herr Petersen, was ist der EU AI Act und wann tritt er in Kraft?

Die EU-Verordnung zur Künstlichen Intelligenz stellt den weltweit ersten umfassenden Rechtsrahmen zur Regulierung von KI dar. Ziel ist es, einerseits die Gesellschaft vor den Risiken dieser Technologie zu schützen und andererseits Innovationen zu fördern. Der auf KI-Recht und Human Resources spezialisierte Rechtsanwalt Bengt Petersen erklärt im Interview mit Paychex, welche Anforderungen der AI Act insbesondere im Personalbereich an Unternehmen stellt und welche rechtlichen Konsequenzen bei Verstößen drohen.

Der EU AI Act stellt den ersten umfassenden Rechtsrahmen zur Regulierung von Künstlicher Intelligenz dar. Die Verordnung verfolgt einen risikobasierten Ansatz: KI-Systeme werden in Kategorien eingeteilt, die unterschiedliche Anforderungen und Pflichten mit sich bringen:

• Verbotene KI-Systeme

• KI-Systeme mit hohem Risiko

• KI-Systeme mit begrenztem Risiko

• KI-Systeme mit minimalem Risiko

Besonders relevant ist der AI Act für KI-Systeme mit hohem Risiko, da diese den größten regulatorischen Aufwand mit sich bringen. Der EU AI Act trat am 01.08.2024 in Kraft, wobei erste Regelungen ab Februar 2025 gelten. Der Hauptteil der Vorschriften wird ab Mitte 2026 verbindlich.

Welche Gestaltungsmöglichkeiten gibt es für Deutschland?

Da es sich beim EU AI Act um eine Verordnung handelt, haben die nationalen Gesetzgeber in Deutschland nur begrenzte Gestaltungsspielräume. Die Vorschriften gelten unmittelbar in allen EU-Mitgliedsstaaten. Einzige Ausnahme ist die Durchsetzung des AI Acts, bei der die Mitgliedsstaaten etwas Spielraum haben.

Welche Sanktionen drohen bei Verstößen?

Verstöße gegen die Vorschriften des AI Acts können erhebliche Konsequenzen nach sich ziehen. Anbieter oder Betreiber von Hochrisiko-KI-Systemen können mit Geldbußen von bis zu 15 Millionen Euro oder bis zu 3 % ihres weltweiten Jahresumsatzes belegt werden.

Welche Bedeutung hat der AI Act für den HR-Bereich?

Der HR-Bereich ist besonders von den Regelungen des AI Acts betroffen, da hier ein hoher Anteil an Hochrisiko-KI-Systemen zum Einsatz kommt. Über 75 % der in einer Studie überprüften KI-Systeme im HR-Bereich wurden als Hochrisiko-KI eingestuft. Der EU AI Act fordert von diesen Systemen unter anderem Transparenz, Datensicherheit und ein umfassendes Risikomanagement. Die Herausforderung für Unternehmen liegt darin, die Vorteile von Künstlicher Intelligenz zu nutzen, ohne die gesetzlichen Anforderungen und die ethischen Standards zu vernachlässigen.

Welche Pflichten gibt es für Unternehmen im Bereich Human Resources?

Unternehmen, die KI-Systeme mit hohem Risiko im HR-Bereich einsetzen, haben als Betreiber bestimmte Pflichten. Diese umfassen insbesondere die ordnungsgemäße Verwendung der Künstlichen Intelligenz, Schulung des Personals und die Gewährleistung der Transparenz gegenüber den Mitarbeitern. Betreiber müssen zudem bestimmte Vorfälle wie Fehlfunktionen melden.

Welche rechtlichen Konsequenzen haben KI-bedingte Fehlern in Gehaltsabrechnungen?

Fehler bei der Gehaltsabrechnung durch Künstliche Intelligenz können zu vertraglichen Schadensersatzansprüchen führen. Das Unternehmen kann in solchen Fällen versuchen, Ansprüche gegen den KI-Anbieter geltend zu machen. Wenn es sich um eine Hochrisiko-KI handelt, gelten zusätzliche Pflichten gemäß dem EU AI Act.

Was gilt für die Bereiche Schichtplanung und Aufgabenzuweisung?

Falls KI-basierte Systeme in der Schichtplanung oder Aufgabenzuweisung zu ungleichen oder unfairen Arbeitsbedingungen führen, drohen ebenfalls rechtliche Risiken. Unternehmen müssen sicherstellen, dass eine angemessene menschliche Aufsicht über die Künstliche Intelligenz gewährleistet ist, und Mitarbeiter können gegebenenfalls Ansprüche auf Gleichbehandlung geltend machen.

Wie sieht es mit der Nutzung von Chatbots im Bereich Human Resources aus?

Der Einsatz von Chatbots wie ChatGPT oder Copilot muss den datenschutzrechtlichen und urheberrechtlichen Anforderungen entsprechen. Unternehmen sollten klare Richtlinien und Schulungen bereitstellen, um die rechtskonforme Nutzung dieser Technologien sicherzustellen.

Welche Datenschutz- und Sicherheitsanforderungen gibt es für KI-gestützte Chatbots insgesamt?

Für unternehmensinterne KI-Chatbots gelten Transparenzpflichten nach dem AI Act. Benutzer müssen darüber informiert werden, dass sie mit einer KI kommunizieren. Zudem müssen Datenschutzgesetze eingehalten werden, um die personenbezogenen Daten der Mitarbeiter zu schützen.

Welche Risiken gibt es bei der Automatisierung von Recruiting- und Onboarding-Prozessen?

Automatisierte KI-Systeme im Recruiting sind oft Hochrisiko-KI-Systeme und unterliegen daher strengen Anforderungen des AI Acts. Zudem müssen Unternehmen sicherstellen, dass alle datenschutzrechtlichen Bestimmungen eingehalten werden, um Diskriminierung und rechtliche Konsequenzen zu vermeiden.

Lieber Herr Petersen, vielen Dank für das aufschlussreiche Gespräch!

Paychex Gastautor: Markus Matt

Bengt Petersen war Rechtsanwalt in einer führenden internationalen Wirtschaftskanzlei und ist seit 2023 Rechtsanwalt und Gründungspartner der Hamburger Wirtschaftskanzlei Frontwing/Frontwing AI. Dort berät er unter anderem zu rechtlichen Fragen im Bereich IT-, Daten- und KI-Recht. Insbesondere aufgrund einer Kooperation mit einem StartUp für KI-Anwendung für Personal-Abteilungen hat er den Fokus seiner Beratung in diesen Rechtsgebieten auf die HR-Branche ausgelegt.