Agentic RAG: Wenn KI-Agenten selbst nach Antworten suchen
Agentic RAG beschreibt Systeme, bei denen ein KI-Agent nicht nur einmal eine Wissensdatenbank abfragt, sondern selbstständig entscheidet, welche Fragen er stellt, welche Quellen er konsultiert und wann er genug Informationen hat. Statt eines einzelnen Retrieval-Schritts plant der Agent mehrere Suchanfragen, ruft bei Bedarf verschiedene Wissensdatenbanken per Tool Call auf und bewertet die Ergebnisse, bevor er antwortet. Das klingt mächtig, bringt aber höhere Kosten, längere Antwortzeiten und neue Fehlerquellen mit sich. Dieser Artikel zeigt, wie Agentic RAG technisch funktioniert, wann es sich lohnt und wie Sie die Risiken von Anfang an begrenzen.
Agentic RAG vs. klassisches RAG: der Unterschied
Klassisches RAG folgt einem festen Ablauf: Die Nutzerfrage wird einmal in einen Vektor umgewandelt, die passendsten Textabschnitte werden abgerufen, und das Sprachmodell formuliert daraus eine Antwort. Ein einziger Retrieval-Schritt, ein einziger Antwortversuch. Das funktioniert hervorragend für klar formulierte Fragen gegen eine einzelne, gut strukturierte Wissensdatenbank, wie es Wie funktioniert RAG? im Detail zeigt.
Agentic RAG bricht mit diesem starren Ablauf. Der Agent erhält Zugriff auf Suchwerkzeuge (Tools) und entscheidet in einer Schleife selbst, ob er noch mehr Informationen braucht, welche Teilfrage als Nächstes gestellt wird und ob die bisherigen Treffer überhaupt relevant sind. Er kann eine Frage in Teilfragen zerlegen, widersprüchliche Quellen erkennen und bei Bedarf gezielt nachhaken, bevor er eine finale Antwort liefert.
- Klassisches RAG: eine Anfrage, ein Abruf, eine Antwort, vorhersehbare Kosten und Latenz.
- Agentic RAG: mehrere Anfragen, iterative Bewertung, variable Kosten und Latenz.
- Klassisches RAG eignet sich für Single-Hop-Fragen mit klarer Antwort in einem Dokumentabschnitt.
- Agentic RAG eignet sich für Multi-Hop-Fragen, die Informationen aus mehreren Quellen oder mehreren Suchrunden zusammenführen.
Query Planning: Wie ein Agent seine Suche selbst strukturiert
Der erste Baustein von Agentic RAG ist das Query Planning. Statt die Nutzerfrage eins zu eins an die Suche weiterzureichen, zerlegt der Agent sie zunächst gedanklich. Eine Frage wie 'Vergleichen Sie die Kündigungsfristen in unseren drei Lieferantenverträgen und nennen Sie, welcher Vertrag am wenigsten Flexibilität bietet' lässt sich nicht mit einer einzigen Suchanfrage beantworten. Der Agent muss sie in Teilschritte übersetzen: zuerst die Kündigungsklausel in Vertrag A suchen, dann in Vertrag B, dann in Vertrag C, anschließend die Ergebnisse vergleichen.
Dazu gehört auch die Reformulierung von Suchanfragen. Liefert die erste Suche keine brauchbaren Treffer, formuliert ein gut konfigurierter Agent die Anfrage um, etwa mit anderen Fachbegriffen oder einem engeren Zeitraum. Diese iterative Verfeinerung ist der eigentliche Mehrwert gegenüber einem starren Retrieval-Schritt, setzt aber voraus, dass das zugrunde liegende Suchsystem selbst robust ist. Eine Hybridsuche aus Volltext und semantischer Erweiterung, wie sie in Hybrid Search: Warum BM25 und Vektorsuche gemeinsam RAG-Abrufe gewinnen beschrieben wird, liefert dabei deutlich stabilere Grundlagen als reine Vektorsuche, weil exakte Begriffe (Vertragsnummern, Paragrafen, Produktcodes) nicht verloren gehen.
Multi-Step Retrieval in der Praxis
Ein typischer Agentic-RAG-Ablauf sieht so aus: Der Agent stellt eine erste Suchanfrage, erhält Textabschnitte zurück, bewertet deren Relevanz und entscheidet dann, ob er genug Material hat oder weitersuchen muss. Diese Schleife wiederholt sich, bis ein Abbruchkriterium erreicht ist, etwa eine maximale Anzahl an Suchschritten, ein Konfidenzwert oder schlicht die Einschätzung, dass die Frage vollständig beantwortet ist.
- Nutzerfrage analysieren und in Teilfragen zerlegen.
- Erste Suchanfrage an eine oder mehrere Wissensdatenbanken senden.
- Treffer bewerten: Sind sie relevant, vollständig, widersprüchlich?
- Bei Bedarf Suchanfrage reformulieren oder eine weitere Teilfrage stellen.
- Wiederholen, bis das Abbruchkriterium erreicht ist.
- Antwort aus allen gesammelten Belegen zusammenstellen und Quellen zitieren.
Entscheidend ist Schritt sechs: Auch bei mehrstufiger Suche muss die finale Antwort nachvollziehbar auf konkrete Textstellen zurückgeführt werden. Ohne diese Rückverfolgbarkeit wird aus Agentic RAG schnell ein Blackbox-System, das zwar beeindruckend wirkt, aber niemand mehr prüfen kann. Wie man Zitate, Unsicherheit und menschliche Kontrolle sauber einbaut, erklärt Vertrauenswürdige KI-Antworten ausführlich.
Tool Calls zu mehreren Wissensdatenbanken orchestrieren
Richtig interessant wird Agentic RAG, wenn ein Agent nicht nur eine, sondern mehrere Wissensdatenbanken als Werkzeuge zur Verfügung hat: eine für Produktdokumentation, eine für interne Richtlinien, eine für aktuelle Vertragsunterlagen. Der Agent muss dann zusätzlich entscheiden, welches Tool für welche Teilfrage zuständig ist, und die Ergebnisse aus unterschiedlichen Quellen konsistent zusammenführen.
Das Model Context Protocol (MCP) ist der naheliegende technische Rahmen dafür, weil jede Wissensdatenbank als eigener MCP-Server mit klar beschriebenen Werkzeugen auftreten kann. Ein Agent in Claude, Cursor oder ChatGPT sieht dann mehrere Suchwerkzeuge mit jeweils eigener Beschreibung und wählt situativ das passende aus. Wie das MCP-Protokoll im Detail aufgebaut ist, erläutert MCP (Model Context Protocol) erklärt, und eine konkrete Schritt-für-Schritt-Anleitung zum Verbinden liefert Claude, Cursor oder ChatGPT mit einer Wissensdatenbank verbinden.
Auf Kopik lässt sich das direkt nachbilden: Jede im Katalog veröffentlichte oder privat angelegte Wissensdatenbank ist über die REST-API oder den MCP-Server abfragbar. Ein Agent kann also mehrere Kopik-Basen gleichzeitig als Werkzeuge einbinden, zum Beispiel eine Basis mit Gesetzestexten und eine zweite mit internen Arbeitsanweisungen, und selbst entscheiden, welche er für eine konkrete Teilfrage befragt. Über /developers finden Sie die technischen Details für API-Schlüssel und MCP-Anbindung.
Risiken: Kosten, Latenz und Fehlerfortpflanzung
Der Preis für diese Flexibilität ist real und sollte vor dem Einsatz durchgerechnet werden. Jeder zusätzliche Suchschritt bedeutet mindestens einen weiteren Sprachmodell-Aufruf (zur Planung oder Bewertung) plus einen weiteren Retrieval-Aufruf. Bei fünf Suchschritten multipliziert sich der Ressourcenverbrauch entsprechend, und die Antwortzeit steigt von wenigen Sekunden auf teils 20 bis 60 Sekunden.
Klassisches RAG vs. Agentic RAG im Vergleich
| Aspekt | Klassisches RAG | Agentic RAG |
|---|---|---|
| Retrieval-Schritte | 1 | 2-8, variabel |
| Latenz | niedrig, vorhersehbar | höher, schwankend |
| Kosten pro Anfrage | fix kalkulierbar | variabel, abhängig von Schrittanzahl |
| Fehlerquelle | ungenaue Suche | ungenaue Suche + falsche Planungsentscheidung |
| Geeignet für | Single-Hop-Fragen | Multi-Hop-Fragen über mehrere Quellen |
Noch kritischer als die reinen Kosten ist die Fehlerfortpflanzung. Trifft der Agent im zweiten Suchschritt eine falsche Annahme, etwa weil er eine Teilfrage missversteht oder eine irrelevante Quelle für relevant hält, baut jeder folgende Schritt auf diesem Fehler auf. Am Ende steht eine Antwort, die in sich logisch klingt, aber auf einer falschen Prämisse beruht, ein Risiko, das in reinem Single-Shot-RAG so nicht existiert.
Begrenzen Sie die Schleife von Anfang an
Setzen Sie eine harte Obergrenze für Suchschritte (etwa 3 bis 5), protokollieren Sie jeden Zwischenschritt inklusive Suchanfrage und Treffer, und lassen Sie den Agenten bei Unsicherheit lieber nachfragen als raten. Ein Audit-Log macht im Nachhinein nachvollziehbar, warum eine Antwort so ausgefallen ist.
Governance: Wie Sie Agentic RAG unter Kontrolle halten
Je autonomer ein Agent agiert, desto wichtiger werden klare Leitplanken. Das betrifft vier Bereiche:
- Budgetgrenzen: ein maximales Kontingent an Suchschritten oder Kosten pro Nutzeranfrage.
- Quellenbeschränkung: eine Positivliste, welche Wissensdatenbanken für welchen Anwendungsfall genutzt werden dürfen.
- Protokollierung: jede Suchanfrage, jeder Treffer und jede Planungsentscheidung sollte nachvollziehbar gespeichert werden.
- Menschliche Kontrolle bei hoher Tragweite: Verträge, Gesundheits- oder Personalfragen sollten vor dem Versand an Nutzer noch einmal geprüft werden.
Diese Punkte sind nicht nur Qualitätsthema, sondern zunehmend auch regulatorisch relevant. Der EU AI Act stellt an Systeme mit höherem Automatisierungsgrad teils strengere Anforderungen an Transparenz und menschliche Aufsicht, wie EU AI Act und RAG-Assistenten einordnet. Wer zusätzlich personenbezogene Daten über mehrere Wissensdatenbanken hinweg verarbeitet, sollte die Prüfpunkte aus DSGVO und RAG: Checkliste durchgehen, bevor ein Agent produktiv mehrere interne Quellen gleichzeitig durchsucht.
Wann lohnt sich Agentic RAG wirklich?
Nicht jede Anwendung braucht einen autonom planenden Agenten. In vielen Fällen liefert ein gut konzipiertes klassisches RAG-System mit sauberem Chunking und Hybridsuche bessere und günstigere Ergebnisse. Die Komplexität von Agentic RAG lohnt sich vor allem dort, wo Fragen tatsächlich mehrere unabhängige Recherche-Schritte erfordern.
- Einfaches RAG reicht: FAQ-Bot zu einem Produkt, Suche in einem einzelnen Handbuch, Beantwortung von Fragen mit klarer Antwort an einer Stelle.
- Agentic RAG lohnt sich: Vergleich mehrerer Dokumente oder Verträge, Recherche über mehrere getrennte Wissensdatenbanken, mehrstufige Compliance-Prüfungen, Aufgaben, bei denen ein Agent eigenständig entscheiden muss, welche Quelle als Nächstes relevant ist.
Eine praktische Faustregel: Wenn eine erfahrene Fachperson die Frage mit einer einzigen Suche in einer Dokumentensammlung beantworten könnte, reicht klassisches RAG. Wenn sie dafür in zwei oder drei verschiedenen Ordnern nachschlagen und die Ergebnisse gedanklich zusammenführen müsste, ist Agentic RAG der passendere Ansatz. Wer unsicher ist, ob ein langes Kontextfenster die mehrstufige Suche nicht einfach ersetzen kann, findet in RAG vs. Long Context eine nüchterne Abwägung beider Ansätze.
Mehrstufige Suche ohne eigene Infrastruktur testen
Bauen Sie eine Wissensdatenbank auf Kopik auf, verbinden Sie sie per API oder MCP mit Ihrem Agenten und orchestrieren Sie mehrere Basen als separate Suchwerkzeuge, ganz ohne eigene Retrieval-Pipeline zu betreiben.
Fazit: Erst die Frage, dann die Architektur
Agentic RAG ist kein Ersatz für solides klassisches RAG, sondern eine Erweiterung für Fragestellungen, die eine einzelne Suchanfrage strukturell überfordert. Bevor Sie Query Planning und Multi-Step Retrieval einbauen, lohnt es sich, die zugrunde liegende Suchqualität zu prüfen, etwa mit den Metriken aus RAG-System evaluieren. Eine schwache Suche wird durch mehr Schleifen nicht besser, nur teurer und langsamer.
Häufige Fragen
Was unterscheidet Agentic RAG von klassischem RAG?
Klassisches RAG führt genau einen Suchschritt aus und formuliert daraus eine Antwort. Agentic RAG lässt einen Agenten selbst entscheiden, wie viele Suchschritte nötig sind, welche Teilfragen gestellt werden und welche Wissensdatenbanken dafür abgefragt werden.
Brauche ich ein spezielles Agenten-Framework für Agentic RAG?
Nicht zwingend. Entscheidend ist, dass das Sprachmodell Tools aufrufen kann und eine Schleife aus Suche, Bewertung und erneuter Suche implementiert ist. Das lässt sich mit gängigen Agenten-Frameworks oder über MCP-Server realisieren, die Wissensdatenbanken als Werkzeuge bereitstellen.
Wie teuer ist Agentic RAG im Vergleich zu klassischem RAG?
Die Kosten steigen in der Regel mit der Anzahl der Suchschritte, da jeder Schritt einen zusätzlichen Modellaufruf zur Planung oder Bewertung sowie einen zusätzlichen Retrieval-Aufruf benötigt. Eine harte Obergrenze an Suchschritten hält die Kosten kalkulierbar.
Kann Agentic RAG häufiger halluzinieren als klassisches RAG?
Das Risiko einer Fehlerfortpflanzung steigt, weil eine falsche Zwischenannahme in Schritt zwei den gesamten weiteren Suchpfad verfälschen kann. Lückenlose Quellenangaben und ein Audit-Log pro Schritt helfen, solche Fehler nachträglich zu erkennen.
Wie viele Suchschritte sind für Agentic RAG sinnvoll?
In der Praxis reichen meist drei bis fünf Schritte aus, um Multi-Hop-Fragen zu beantworten. Eine feste Obergrenze verhindert, dass ein Agent in einer Endlosschleife aus Nachfragen hängen bleibt und unnötig Kosten verursacht.
Eignet sich MCP für Agentic RAG über mehrere Wissensdatenbanken?
Ja, MCP ist dafür gut geeignet, weil jede Wissensdatenbank als eigener Server mit klar beschriebenen Suchwerkzeugen auftreten kann. Ein Agent in einem MCP-fähigen Client wählt dann je nach Teilfrage das passende Werkzeug aus.
Den Kopik-Newsletter abonnieren
Neue Wissensdatenbanken, RAG-Leitfäden und Produktneuheiten. Eine E-Mail alle ein bis zwei Wochen, Abmeldung mit einem Klick.
Mit dem Abonnement stimmen Sie dem Erhalt unseres Newsletters zu. Ihre Adresse wird nie weitergegeben.