EU AI Act und RAG-Assistenten: Welche Pflichten wirklich gelten
Die meisten RAG-Assistenten auf Basis einer eigenen Wissensdatenbank fallen nicht automatisch unter die strengsten Regeln des EU AI Act, aber bestimmte Transparenzpflichten können trotzdem greifen. Dieser Beitrag ordnet ein, wo Wissensdatenbank-Chatbots im Risikomodell der Verordnung stehen, was ausdrücklich nicht geregelt ist, und welche praktischen Schritte Sie als Betreiber jetzt prüfen sollten. Er ersetzt keine Rechtsberatung, sondern gibt Orientierung für das Gespräch mit Ihrer Rechtsabteilung oder einer Kanzlei.
Was der EU AI Act überhaupt regelt
Der EU AI Act (Verordnung (EU) 2024/1689) ist das erste umfassende Regelwerk für künstliche Intelligenz in der Europäischen Union. Er verfolgt einen risikobasierten Ansatz: Je größer das potenzielle Schadenspotenzial eines KI-Systems für Grundrechte, Sicherheit oder demokratische Prozesse, desto strenger die Pflichten. Die Verordnung unterscheidet vier Stufen: verbotene Praktiken, Hochrisiko-Systeme, Systeme mit begrenztem Risiko (vor allem Transparenzpflichten) und minimales Risiko, für das praktisch keine zusätzlichen Pflichten entstehen. Die zuständige Aufsicht in Deutschland liegt bei der Bundesnetzagentur als nationaler Marktüberwachungsbehörde, während die EU-Kommission über das AI Office die Umsetzung koordiniert.
Für die meisten Unternehmen, die einen RAG-Assistenten auf eigenen Dokumenten betreiben, also ein System, das Fragen anhand von Handbüchern, Richtlinien, Verträgen oder Fachwissen beantwortet, ist die zentrale Frage: In welche dieser Kategorien fällt mein konkreter Anwendungsfall? Die Antwort hängt nicht vom technischen Verfahren (RAG, Fine-Tuning, reines Prompting) ab, sondern vom Einsatzzweck und vom Kontext, in dem das System eingesetzt wird.
Risikoklassen und wo Wissensdatenbank-Assistenten typischerweise landen
Ein RAG-Assistent, der Mitarbeitenden Fragen zu internen Richtlinien beantwortet oder Kundinnen und Kunden Informationen aus einer Produktdokumentation liefert, fällt in aller Regel nicht unter die Hochrisiko-Kategorie. Hochrisiko-Einstufungen betreffen typischerweise Bereiche wie Personalauswahl, Bonitätsbewertung, kritische Infrastruktur, Strafverfolgung oder Zugang zu wesentlichen öffentlichen Diensten. Wird Ihr Assistent jedoch in einem dieser Kontexte eingesetzt, zum Beispiel um Bewerbungen vorzusortieren oder um über Kreditanträge mitzuentscheiden, kann die Einstufung als Hochrisiko-System greifen, selbst wenn die zugrunde liegende Technik dieselbe ist wie bei einem harmlosen FAQ-Bot.
Grobe Einordnung nach Einsatzzweck
| Einsatzzweck des RAG-Assistenten | Typische Einordnung | Was zu prüfen ist |
|---|---|---|
| Interner Assistent für HR-Richtlinien, IT-Support, Vertriebsunterlagen | Minimales bis begrenztes Risiko | Transparenz gegenüber Nutzern, Datenschutz |
| Öffentlicher Support-Chatbot für Kundenanfragen | Begrenztes Risiko (Transparenzpflicht) | Kennzeichnung als KI-System nach Art. 50 |
| Assistent zur Vorauswahl von Bewerbungen oder Mitarbeiterbewertung | Potenziell Hochrisiko (Anhang III) | Konformitätsbewertung, Dokumentation, menschliche Aufsicht |
| Assistent zur Entscheidung über Kreditwürdigkeit oder Versicherungstarife | Potenziell Hochrisiko (Anhang III) | Konformitätsbewertung, Risikomanagement |
| Reine Recherchehilfe für Juristen oder Fachpersonal ohne automatisierte Entscheidung | Minimales bis begrenztes Risiko | Quellenangaben, Nachvollziehbarkeit der Antworten |
Einsatzzweck entscheidet, nicht die Technik
Zwei technisch identische RAG-Assistenten können unterschiedlich eingestuft werden, je nachdem, ob ihre Antworten rein informativ sind oder in eine automatisierte Entscheidung mit Rechtswirkung einfließen. Dokumentieren Sie daher immer klar, wofür das System tatsächlich genutzt werden darf.
Transparenzpflichten: Was für die meisten Assistenten tatsächlich relevant wird
Für die Mehrheit der RAG-Assistenten mit begrenztem Risiko sind vor allem die Transparenzpflichten aus Artikel 50 der Verordnung relevant. Vereinfacht gesagt geht es darum, dass Nutzerinnen und Nutzer erkennen können, dass sie mit einem KI-System interagieren, sofern dies nicht ohnehin offensichtlich ist. Konkret kann das bedeuten:
- Ein klarer Hinweis im Chat-Interface, dass Antworten von einem KI-System generiert werden
- Eine verständliche Erklärung, auf welcher Grundlage die Antworten entstehen (zum Beispiel: auf Basis Ihrer hochgeladenen Dokumente)
- Die Möglichkeit, Quellen oder zitierte Passagen einzusehen, damit Antworten nachvollziehbar und überprüfbar sind
- Ein Hinweis darauf, dass die Antworten keine Rechtsberatung, medizinische Beratung oder verbindliche Zusage darstellen, falls zutreffend
Hier zahlt sich ein Architekturprinzip aus, das bei RAG-Systemen ohnehin sinnvoll ist: Antworten mit Quellenangabe statt freier Textgenerierung. Wenn jede Antwort auf konkrete Passagen aus Ihren Dokumenten verweist, erfüllen Sie nicht nur eine mögliche Transparenzpflicht, sondern erleichtern auch intern die Qualitätskontrolle. Mehr dazu, wie man solche Antworten systematisch prüft, finden Sie im Beitrag KI-Antworten mit Quellenangaben prüfen.
Was der AI Act ausdrücklich nicht abdeckt
Ein häufiges Missverständnis ist, der AI Act regle bereits alle Fragen rund um Datenschutz, Haftung oder Urheberrecht bei KI-Systemen. Das ist nicht der Fall. Folgende Bereiche bleiben außerhalb des direkten Anwendungsbereichs der Verordnung oder werden durch andere Regelwerke abgedeckt:
- Datenschutz und die Verarbeitung personenbezogener Daten bleiben Sache der DSGVO, nicht des AI Act. Beide Regelwerke gelten parallel.
- Urheberrechtsfragen rund um Trainingsdaten oder generierte Inhalte werden über das Urheberrecht und nicht über den AI Act gelöst.
- Vertragliche Haftung gegenüber Kunden, etwa wenn eine Antwort falsch oder irreführend war, richtet sich weiterhin nach allgemeinem Zivilrecht.
- Rein interne Forschungs- und Entwicklungstätigkeiten vor Markteinführung fallen unter eine Ausnahme, solange das System nicht in Verkehr gebracht oder in Betrieb genommen wird.
- Systeme, die ausschließlich für militärische, verteidigungs- oder nationale Sicherheitszwecke entwickelt werden, sind vom Anwendungsbereich ausgenommen.
Für Betreiber von Wissensdatenbank-Assistenten heißt das konkret: Auch wenn Ihr Chatbot AI-Act-konform gestaltet ist, müssen Sie weiterhin separat prüfen, ob personenbezogene Daten in den hochgeladenen Dokumenten enthalten sind und wie Sie diese rechtmäßig verarbeiten. Eine strukturierte Checkliste dazu finden Sie im Beitrag DSGVO und RAG: Was Sie bei KI-Wissensdatenbanken prüfen müssen.
Praktische Schritte für Betreiber von RAG-Assistenten
Unabhängig davon, wie die endgültige Einstufung Ihres Systems ausfällt, lohnen sich einige Maßnahmen, die sowohl Compliance-Risiken reduzieren als auch die Qualität des Assistenten verbessern:
- Dokumentieren Sie den Einsatzzweck schriftlich: Wofür ist der Assistent gedacht, wofür ausdrücklich nicht (zum Beispiel keine automatisierten Personalentscheidungen).
- Kennzeichnen Sie das System klar als KI-gestützt, insbesondere wenn es mit externen Nutzern kommuniziert.
- Sorgen Sie dafür, dass Antworten auf nachvollziehbare Quellen verweisen, statt frei generierten Text ohne Beleg auszugeben.
- Richten Sie eine menschliche Kontrollinstanz ein für Fälle, in denen die Antwort Grundlage einer folgenreichen Entscheidung sein könnte.
- Prüfen Sie regelmäßig die Antwortqualität anhand eines Testsets, um Fehlerquoten und Halluzinationen frühzeitig zu erkennen.
- Klären Sie mit Ihrer Rechtsabteilung, ob Ihr konkreter Anwendungsfall unter Anhang III der Verordnung fällt.
Der vierte und fünfte Punkt hängen eng zusammen: Ein Assistent, der regelmäßig falsche oder unbelegte Antworten liefert, ist nicht nur ein Qualitätsproblem, sondern erschwert auch den Nachweis, dass angemessene Risikominderungsmaßnahmen getroffen wurden. Wie man Halluzinationen systematisch reduziert, beschreibt der Beitrag KI-Halluzinationen vermeiden, und wie man ein RAG-System mit belastbaren Metriken testet, finden Sie unter RAG-System evaluieren: Metriken, Testsets und Monitoring.
Wo Wissensdatenbank-Plattformen wie Kopik bei der Umsetzung helfen
Ein zentrales Element der Transparenzpflicht ist die Nachvollziehbarkeit: Nutzer sollen sehen können, woher eine Antwort stammt. Bei Kopik ist das von Haus aus Teil der Architektur. Jede Wissensdatenbank, ob öffentlich im Katalog oder privat nur für Ihre eigenen API-Schlüssel, liefert Antworten mit zitierten Passagen aus den Originaldokumenten, oder, im reinen Passagen-Modus, direkt die relevanten Textstellen ohne generierte Zusammenfassung. Das erleichtert es, eine der wichtigsten Anforderungen von Artikel 50 praktisch umzusetzen, ohne dafür eine eigene Audit-Pipeline bauen zu müssen.
Für interne Anwendungsfälle, etwa einen Assistenten für Arbeitsschutzrichtlinien oder HR-Dokumente, lässt sich eine Wissensdatenbank in wenigen Minuten über /dashboard/bases/new anlegen, privat halten und ausschließlich über API-Schlüssel oder einen MCP-Server für Tools wie Claude, Cursor oder ChatGPT abfragen. So bleibt die Kontrolle darüber, wer auf welche Inhalte zugreift, vollständig bei Ihnen. Technische Details zur Integration finden Entwicklerteams unter /developers.
Wissensdatenbank mit nachvollziehbaren Antworten aufbauen
Testen Sie, wie eine Wissensdatenbank mit Quellenangaben in der Praxis aussieht, bevor Sie Transparenzpflichten in Ihrem eigenen System umsetzen.
Zeitplan und nächste Schritte
Die Pflichten des AI Act treten gestaffelt in Kraft. Verbotene Praktiken und Bestimmungen zur KI-Kompetenz galten bereits ab Februar 2025, Pflichten für General-Purpose-KI-Modelle ab August 2025, und die Vorgaben für Hochrisiko-Systeme sowie weite Teile der Transparenzpflichten folgen stufenweise bis August 2026 und darüber hinaus. Da sich Fristen und Auslegungen weiterentwickeln, lohnt sich ein Blick auf die offiziellen Informationen der Europäischen Kommission zum AI Act sowie auf die Hinweise Ihrer nationalen Aufsichtsbehörde, bevor Sie größere Investitionen in Compliance-Maßnahmen planen.
Für kleinere und mittlere Unternehmen, die einen RAG-Assistenten primär für interne Wissensvermittlung einsetzen, etwa ähnlich den Beispielen aus Warum KI-Agenten zuverlässige Wissensquellen brauchen, bleibt der Aufwand meist überschaubar: klare Kennzeichnung, nachvollziehbare Quellen und eine saubere Dokumentation des Einsatzzwecks decken einen Großteil der realistisch anwendbaren Pflichten ab.
Häufige Fragen
Ist ein RAG-Assistent automatisch ein Hochrisiko-KI-System nach dem EU AI Act?
Nein. Die Einstufung hängt vom Einsatzzweck ab, nicht von der Technik. Ein Assistent für interne Dokumentensuche oder Kundenservice fällt in der Regel nicht unter Anhang III. Wird er dagegen für Personalentscheidungen, Bonitätsprüfung oder ähnlich folgenreiche Zwecke genutzt, kann eine Hochrisiko-Einstufung greifen.
Welche Transparenzpflichten gelten für Chatbots nach Artikel 50?
Nutzerinnen und Nutzer müssen in der Regel erkennen können, dass sie mit einem KI-System sprechen, sofern das nicht ohnehin offensichtlich ist. Zusätzlich empfiehlt sich, die Grundlage der Antworten (etwa hochgeladene Dokumente) und Quellenangaben transparent zu machen.
Muss ich meine Wissensquellen gegenüber Nutzern offenlegen?
Eine explizite gesetzliche Pflicht zur vollständigen Offenlegung aller Quellen besteht nicht in jedem Fall, aber zitierte Passagen erleichtern den Nachweis der Nachvollziehbarkeit erheblich und sind ohnehin guter RAG-Standard.
Ersetzt der EU AI Act die DSGVO?
Nein. Beide Regelwerke gelten parallel. Der AI Act regelt Risiken rund um KI-Systeme, die DSGVO regelt die Verarbeitung personenbezogener Daten. Ein RAG-Assistent, der personenbezogene Daten verarbeitet, muss beide Regelwerke beachten.
Ab wann gelten die Pflichten des AI Act konkret?
Die Verordnung tritt gestaffelt in Kraft: Verbote und KI-Kompetenzpflichten seit Februar 2025, Pflichten für General-Purpose-Modelle seit August 2025, weitere Pflichten folgen bis August 2026 und teils später. Prüfen Sie die aktuellen Fristen bei der EU-Kommission oder Ihrer nationalen Aufsichtsbehörde.
Was passiert bei Verstößen gegen den AI Act?
Je nach Schwere des Verstoßes sind Bußgelder bis zu mehreren Prozent des weltweiten Jahresumsatzes möglich, ähnlich wie bei der DSGVO. Die genaue Höhe hängt von der Art des Verstoßes und der betroffenen Risikokategorie ab.
Den Kopik-Newsletter abonnieren
Neue Wissensdatenbanken, RAG-Leitfäden und Produktneuheiten. Eine E-Mail alle ein bis zwei Wochen, Abmeldung mit einem Klick.
Mit dem Abonnement stimmen Sie dem Erhalt unseres Newsletters zu. Ihre Adresse wird nie weitergegeben.