KI-Halluzinationen vermeiden: So liefern Sprachmodelle belegte Antworten

Um KI-Halluzinationen zu vermeiden, darf ein Sprachmodell nicht aus dem Gedächtnis antworten. Zuerst werden die passenden Abschnitte aus vertrauenswürdigen Dokumenten gesucht, dann antwortet das Modell ausschließlich auf deren Grundlage und mit Quellenangabe, und wenn die Quellen schweigen, sagt es das offen. Mit einem kleinen Testset bekannter Fragen messen Sie anschließend, ob das wirklich funktioniert. Dieser Leitfaden erklärt die Ursachen und jede einzelne Schutzschicht.

Warum halluzinieren Sprachmodelle?

Ein Sprachmodell schlägt nichts nach, wenn es antwortet. Es erzeugt Wort für Wort die wahrscheinlichste Fortsetzung Ihrer Frage, auf Basis von Mustern aus dem Training. Meistens ist die wahrscheinlichste Antwort auch die richtige. Wenn nicht, entsteht eine Halluzination: eine flüssig formulierte, selbstsichere und dennoch falsche Aussage.

Besonders hoch ist das Risiko in diesen Situationen:

• Das Wissen fehlt. Interne Arbeitsanweisungen, Ihr Tarifvertrag, eine kürzlich geänderte Verwaltungsvorschrift oder die Spezifikation eines Zulieferers waren nie in den Trainingsdaten.
• Es geht um exakte Details. Beträge, Fristen, Paragrafen, Aktenzeichen und Normnummern sind typische Fehlerquellen, weil viele ähnliche Werte gleich plausibel wirken.
• Es gibt keinen Ausweg. Modelle sind auf Hilfsbereitschaft trainiert. Ohne ausdrückliche Erlaubnis zur Ablehnung liefern sie lieber irgendeine Antwort.
• Die Frage ist mehrdeutig. Das Modell wählt stillschweigend eine Lesart und beantwortet sie mit voller Überzeugung.
• Die Argumentation ist lang. Ein kleiner Fehler am Anfang zieht sich bis ins Ergebnis durch.

Halluzinationen gehören also zur Art, wie Text erzeugt wird. Neuere Modelle irren seltener, aber keines irrt nie. Die Lösung liegt deshalb im System rund um das Modell.

Was ist eine belegte Antwort?

Eine belegte Antwort (im Englischen oft "grounded answer") entsteht aus Textstellen, die zum Zeitpunkt der Frage bereitgestellt werden, nicht aus dem Gedächtnis des Modells. Das Modell wird vom Orakel zum sorgfältigen Leser, der Belege zusammenfasst. Genau das ist das Prinzip der Retrieval-Augmented Generation (RAG), die man selbst bauen oder als Dienst nutzen kann, siehe RAG as a Service.

Damit ändert sich die Art des Fehlers. Ein Modell ohne Quellen erfindet, wenn es etwas nicht weiß. Ein Modell mit Quellen, das nichts Passendes findet, kann angewiesen werden, genau das zu sagen. Und jede Aussage, die es trifft, lässt sich auf eine Textstelle zurückführen.

Fünf Schutzschichten gegen Halluzinationen

Ein einzelner Trick reicht nicht. In der Praxis bewährt sich ein Schichtenmodell, bei dem jede Ebene abfängt, was die vorherige durchgelassen hat.

1. Saubere, aktuelle Quellen

Eine belegte Antwort ist nur so gut wie ihre Belege. Entfernen Sie veraltete Fassungen und Dubletten, prüfen Sie, ob PDFs echten Text enthalten statt Scans, und vermerken Sie Datum und Geltungsbereich am Anfang jedes Dokuments. Liegen zwei Versionen einer Richtlinie nebeneinander, zitiert das System womöglich die falsche, und zwar überzeugend.

2. Eine Suche, die die richtige Stelle findet

Viele scheinbare Halluzinationen sind in Wahrheit Suchfehler: Die passende Stelle existierte, erreichte das Modell aber nie. Eine hybride Suche aus exakten Begriffen und semantischer Erweiterung der Frage findet sowohl präzise Verweise wie "§ 26 BDSG" als auch frei formulierte Fragen. Vektorsuche ist dabei nur eine Option, wann sie hilft, erklärt unser Beitrag Was ist eine Vektordatenbank?.

3. Eine strikte Antwortanweisung

Die Anweisung sollte unmissverständlich sein: nur die bereitgestellten Textstellen verwenden, nach jeder Aussage die Nummer der Stelle nennen, kein allgemeines Wissen ergänzen. Legen Sie außerdem fest, was bei widersprüchlichen Stellen passiert (beide nennen, mit Datum) und wenn eine Frage nur teilweise abgedeckt ist (diesen Teil beantworten, die Lücke benennen).

4. Quellenangaben für jede Aussage

Zitate erfüllen zwei Aufgaben. Sie halten das Modell nah am Text, weil jeder Satz auf etwas verweisen muss. Und sie ermöglichen eine Prüfung in Sekunden. Ein gutes Zitat verweist auf eine konkrete Textstelle, nicht nur auf einen Dokumenttitel. Eine wichtige Aussage ohne Beleg verdient Misstrauen.

5. Das Recht, nicht zu antworten

Diese Schicht wird am häufigsten vergessen. Beantworten die Textstellen die Frage nicht, lautet die richtige Antwort "Dazu enthalten die Quellen nichts", idealerweise ergänzt um das, was sie abdecken. Schreiben Sie das in die Anweisung und werten Sie eine berechtigte Ablehnung im Test als Erfolg. Ein System, das immer antworten muss, wird bei einem Teil der Fragen immer erfinden.

Halluzinationen messen, bevor Sie live gehen

Ein paar gelungene Demos beweisen wenig. Ein kleines, wiederholbares Testset sagt deutlich mehr aus:

1. Sammeln Sie 30 bis 50 echte Fragen aus Fachabteilung oder Kundenservice, jeweils mit erwarteter Antwort und der Fundstelle im Dokument.
2. Ergänzen Sie 10 bis 15 Fragen, die Ihre Dokumente nicht beantworten. Das einzig richtige Ergebnis ist eine klare Ablehnung.
3. Prüfen Sie die Suche getrennt. War die erwartete Stelle unter den Treffern? Falls nicht, zuerst Dokumente oder Suche verbessern, dann erst die Anweisung.
4. Bewerten Sie jede Antwort nach drei Kriterien: korrekt, vollständig durch die Zitate gedeckt, richtig abgelehnt bei fehlender Abdeckung.
5. Wiederholen Sie den Test nach jeder Änderung an Dokumenten, Aufteilung, Sucheinstellungen oder Anweisung.

Zwei Kennzahlen sind entscheidend: der Anteil der Antworten mit einer Aussage, die keine zitierte Stelle stützt, und der Anteil der Fragen außerhalb des Umfangs, die beantwortet statt abgelehnt wurden. Ein Sprachmodell kann bei der Bewertung helfen, eine Stichprobe sollte aber ein Mensch prüfen, vor allem die Fehlschläge.

Was Quellenbindung nicht löst

• Lesefehler. Das Modell kann eine Zahl falsch übernehmen oder zwei Stellen vermischen. Zitate machen das sichtbar, nicht unmöglich.
• Falsche Quellen. Ein veraltetes Dokument führt zu einer korrekt belegten, aber falschen Antwort.
• Fragen über den gesamten Bestand. "Alle Verträge mit automatischer Verlängerung auflisten" erfordert vollständiges Lesen, nicht das Finden weniger Stellen.
• Übermäßiges Vertrauen. Zitate wirken autoritativ. Bei wichtigen Entscheidungen muss jemand die Quelle öffnen.

Belegte Antworten ohne eigene Infrastruktur

Alles selbst zu bauen heißt: Textextraktion, Aufteilung in Abschnitte, Suchindex, Anweisungen und eine Testschleife. Für viele im Mittelstand ist das zu viel Aufwand für ein Nebenprojekt. Kopik übernimmt diese Kette: Sie laden PDF, Word, Text oder Markdown hoch, Kopik extrahiert, teilt auf und indexiert für eine hybride Suche. Die Antworten stammen nur aus den Dokumenten, mit nummerierten zitierten Stellen, und das System sagt es offen, wenn die Basis die Antwort nicht enthält.

Im Modus "Passagen" erhalten Sie nur die Rohauszüge ohne ausformulierte Antwort, ideal für KI-Agenten, die selbst über die Belege nachdenken. Basen bleiben privat oder erscheinen im Katalog der Wissensdatenbanken und sind über die Website, eine REST-API oder einen MCP-Server für Claude, Cursor oder ChatGPT erreichbar, beschrieben in der Entwicklerdokumentation.

Checkliste vor dem Start

• Dokumente sind aktuell, ohne Dubletten und enthalten echten Text.
• Die Suche wurde separat mit echten Fragen getestet.
• Die Anweisung lautet "nur diese Stellen verwenden" und "jede Aussage belegen".
• Ablehnung ist ausdrücklich erlaubt und zählt als Erfolg, wenn sie berechtigt ist.
• Ein Testset mit bekannten Antworten und Fragen außerhalb des Umfangs läuft nach jeder Änderung.