KI-Antworten mit Quellenangaben: So prüfen Sie eine Antwort auf Ihre Dokumente

Um die Quellen einer KI-Antwort zu prüfen, behandeln Sie jede Quellenangabe als Versprechen, das Sie testen: Ordnen Sie jeden Satz der Passage zu, auf die er verweist, öffnen Sie diese Passage und kontrollieren Sie, ob dort wirklich dasselbe steht, mit denselben Zahlen, Bedingungen und Ausnahmen. Mit etwas Übung dauert das wenige Minuten pro Antwort. Dieser Leitfaden zeigt eine Methode in fünf Schritten, ein durchgerechnetes Beispiel mit nummerierten Passagen, die Warnsignale erfundener Zitate und die Fälle, in denen Sie die Passagen besser selbst lesen.

Warum Quellenangaben bei Dokumenten-KI so wichtig sind

Ein Frage-Antwort-System auf Dokumenten antwortet aus einem festgelegten Bestand: Betriebsvereinbarungen, Arbeitsanweisungen, Produkthandbücher, Merkblätter von Behörden oder der Berufsgenossenschaft. Zu jeder Frage sucht es einige passende Textstellen heraus und lässt ein Sprachmodell daraus die Antwort formulieren. Wie das im Detail abläuft, erklärt Wie funktioniert RAG? Schritt für Schritt.

Die Quellenangabe unterscheidet eine solche Antwort von der eines allgemeinen Chatbots: Sie führt Sie zurück zum Text, damit Sie selbst urteilen können, statt dem selbstsicheren Ton zu glauben. Sie beweist aber nur, dass dem Modell eine Passage vorlag. Ob es sie richtig gelesen, alle Einschränkungen übernommen und nichts aus seinem allgemeinen Training ergänzt hat, beweist sie nicht. Auf der Seite der Entwickler helfen dagegen strikte Quellenbindung und das Recht, nicht zu antworten (siehe KI-Halluzinationen vermeiden). Hier geht es um die andere Seite: um Sie als Leserin oder Leser, die entscheiden müssen, ob die Antwort trägt.

Eine KI-Antwort in fünf Schritten prüfen

1. Frage festhalten. Notieren Sie in einer Zeile, was Sie eigentlich wissen wollen. Prüfen Sie dann, ob die Antwort genau diese Frage beantwortet und nicht eine benachbarte, die in den Dokumenten leichter zu finden war.
2. Jede Aussage ihrem Verweis zuordnen. Gehen Sie Satz für Satz vor und suchen Sie die Marker [1], [2] usw. Markieren Sie Sätze ohne Verweis: Das sind entweder Überleitungen oder Ergänzungen des Modells.
3. Die Passage vollständig lesen. Bleiben Sie nicht bei den hervorgehobenen Wörtern stehen. Vergleichen Sie Beträge, Einheiten, Daten, Modalverben (muss, soll, kann) und Bedingungen.
4. Das Quelldokument bestimmen. Welche Datei, welche Fassung, welches Datum, wer ist Herausgeber? Ein korrektes Zitat aus einer aufgehobenen Regelung bleibt eine falsche Antwort.
5. Nach Lücken fragen. Würde eine Fachkraft eine Ausnahme ergänzen, einen Schwellenwert, eine andere Regel für Teilzeitkräfte oder ein anderes Bundesland? Dann stellen Sie eine gezielte Nachfrage oder durchsuchen die Passagen direkt.

Schritt 2 und 3 decken die meisten Fehler auf. Schritt 4 und 5 finden die leiseren: Antworten, die einer Passage treu bleiben und trotzdem unvollständig oder veraltet sind.

Praxisbeispiel: eine Antwort mit nummerierten Passagen lesen

Nehmen wir die interne Wissensbasis eines fiktiven mittelständischen Unternehmens. Ein Mitarbeiter fragt: „Bekomme ich einen Zuschuss für meinen Internetanschluss, wenn ich mobil arbeite?“ Das System antwortet:

Ja. Beschäftigte im mobilen Arbeiten erhalten einen Internetzuschuss von 20 Euro im Monat [1]. Er wird mit dem Gehalt ausgezahlt [2]. Außerdem können Sie einen Bürostuhl bis 250 Euro bestellen [3].Generierte Antwort (fiktives Beispiel)

Die drei angezeigten Passagen lauten so. Passage [1], Betriebsvereinbarung Mobiles Arbeiten (Stand Januar 2026): „Beschäftigte, die nach Genehmigung durch die Führungskraft regelmäßig an mindestens zwei Tagen pro Woche mobil arbeiten, erhalten einen Zuschuss von 20 Euro monatlich zu den Internetkosten.“ Passage [2], FAQ Entgeltabrechnung: „Monatliche Zuschüsse werden mit der Abrechnung des Folgemonats ausgezahlt.“ Passage [3], Leitfaden Arbeitsplatzausstattung (2023): „Beschäftigte am Standort können ergonomische Ausstattung über das Facility Management anfordern.“

Der erste Satz ist die gefährlichste Fehlerart: Der Betrag stimmt, also wirkt er geprüft, aber die Voraussetzungen sind verschwunden. Wer nur einen Tag pro Woche mobil arbeitet, liest „Ja“ und liegt falsch. Der dritte Satz zeigt ein verrutschtes Zitat: Die Passage behandelt ein verwandtes Thema (Ausstattung), der Verweis wirkt plausibel, doch von mobilem Arbeiten oder 250 Euro steht dort nichts. Solange keine Passage diesen Betrag zeigt, gilt er als erfunden.

Achten Sie auch auf die Daten: Der Leitfaden von 2023 ist älter als die Betriebsvereinbarung von 2026. Selbst wenn er ein Budget nennen würde, müssten Sie prüfen, ob es noch gilt.

Warnsignale für erfundene oder irreführende Zitate

• Eine Zahl, die in der zitierten Passage nicht vorkommt. Beträge, Prozentsätze, Fristen und Paragraphen müssen sich wörtlich wiederfinden. Sonst sind sie nicht belegt.
• Richtiges Thema, falsche Regel. Die Passage betrifft dasselbe Gebiet, aber eine andere Gruppe: Beschäftigte statt Leiharbeitskräfte, Standort statt Homeoffice, ein Bundesland statt eines anderen.
• Strengere Formulierung als die Quelle. In der Antwort „muss“, in der Passage „soll“ oder „kann“; Einschränkungen wie „in der Regel“ oder „sofern“ fallen weg.
• Ausnahmen fehlen. Die Grundregel wird übernommen, die „nur wenn“-Klausel nicht.
• Alles verweist auf [1]. Eine einzige Passage dient als Pauschalbeleg für mehrere unabhängige Aussagen.
• Anführungszeichen um Text, den es nicht gibt. Ein wörtliches Zitat muss exakt stimmen; eine Umschreibung in Anführungszeichen ist verdächtig.
• Gesetze oder Dokumente, die in keiner Passage stehen. Nennt die Antwort einen Paragraphen, den keine gelieferte Passage enthält, stammt er aus dem Gedächtnis des Modells.
• Quellen ohne Titel oder Datum, oder eine alte Fassung neben einer neueren.
• Ein System, das nie „weiß ich nicht“ sagt. Wer auf alles souverän antwortet, auch außerhalb seiner Dokumente, füllt Lücken selbst.

Passagen-Modus oder ausformulierte Antwort?

Manche Systeme können auf die formulierte Antwort verzichten und nur die gefundenen Textstellen liefern. Für bestimmte Fragen ist das der sicherere Weg.

Bei Kopik bietet jede Wissensdatenbank beides. Die Standardantwort wird ausschließlich aus den gefundenen Passagen formuliert, mit nummerierten Quellenangaben, und sagt ausdrücklich, wenn die Datenbank die Antwort nicht enthält. Der Passagen-Modus liefert nur die relevanten Auszüge, ohne formulierte Antwort. Über MCP heißen die beiden Werkzeuge `ask_base` (Antwort plus nummerierte Quellpassagen) und `search_base` (nur Passagen), zum selben Preis: Für eine heikle Prüfung den Originaltext zu wählen, kostet also nichts extra. Die Anbindung beschreibt die Entwicklerdokumentation.

Vertrauen bei Ihren Nutzern aufbauen

Wenn Sie Beschäftigten oder Kunden ein Frage-Antwort-System bereitstellen, sollte das Prüfen selbstverständlich sein und nicht vom guten Willen Einzelner abhängen:

• Zeigen Sie die Passagen neben der Antwort, mit Dokumenttitel und Datum, nicht nur eine nackte Nummer.
• Machen Sie „steht nicht in den Dokumenten“ zu einer normalen Antwort. Einem System, das man ablehnen gesehen hat, vertraut man mehr.
• Entfernen Sie überholte Fassungen, damit alte und neue Regeln sich nicht widersprechen.
• Prüfen Sie monatlich eine Stichprobe: zehn echte Fragen, die fünf Schritte, und Korrektur der Dokumente dort, wo Antworten scheitern.
• Legen Sie fest, wo ein Mensch entscheidet. Bei Personal, Recht oder Arbeitsschutz ist die Antwort ein Ausgangspunkt. Der AI Act sieht für bestimmte KI-Systeme Transparenzpflichten vor, und sobald personenbezogene Daten verarbeitet werden, gilt die DSGVO.

Zum Üben eignet sich eine öffentliche Datenbank wie EU AI Act essentials mit den Originaltexten in englischer Sprache: Stellen Sie eine Frage zu einer konkreten Pflicht und prüfen Sie jeden Satz der Antwort an den nummerierten Passagen.

Checkliste, bevor Sie auf eine Antwort hin handeln

• Die Antwort behandelt genau meine Frage.
• Jede Zahl, Frist und Pflicht trägt einen Verweis.
• Jede wichtige Zahl habe ich in der zitierten Passage gefunden.
• Bedingungen und Ausnahmen der Passage stehen auch in der Antwort.
• Das Quelldokument ist aktuell und stammt vom richtigen Herausgeber.
• Die Antwort nennt kein Gesetz und kein Dokument, das in den Passagen fehlt.