RAG für Kanzleien: Gesetze, Aktennotizen und Memos mit Quellenangabe durchsuchen
Eine Kanzlei-Wissensdatenbank auf Basis von RAG (Retrieval-Augmented Generation) beantwortet Fragen zu Gesetzen, Urteilen und internen Memos mit direktem Verweis auf die zugrunde liegende Textstelle, statt frei zu formulieren. Das reduziert das Halluzinationsrisiko erheblich, löst aber nicht automatisch die Probleme Mandantengeheimnis, Vertraulichkeit und Berufshaftung. Dieser Artikel zeigt, welche Dokumente sich eignen, wie private Basen die Vertraulichkeit wahren und wo die Grenzen der Technologie liegen.
Warum RAG gerade für Kanzleien interessant ist
Juristische Arbeit besteht zu einem großen Teil aus Suchen: die passende Norm finden, ein vergleichbares Urteil wiederfinden, prüfen, ob die Kanzlei zu einer Rechtsfrage schon einmal ein Memo geschrieben hat. Klassische Volltextsuche in Aktenverwaltungssystemen stößt dabei an Grenzen, sobald die Formulierung in der Anfrage nicht exakt der Formulierung im Dokument entspricht. Ein generisches KI-Sprachmodell ohne Dokumentenanbindung löst das Problem nicht, sondern verschärft es: Es antwortet flüssig, aber ohne Garantie, dass die zitierte Norm oder das zitierte Urteil tatsächlich existiert.
RAG kombiniert beides: Eine Suche (oft hybrid aus Volltext und semantischer Suche) findet die relevanten Passagen in den eigenen Dokumenten, und ein Sprachmodell formuliert daraus eine Antwort mit Zitat. Wie dieser Mechanismus im Detail funktioniert, erklärt der Artikel Wie funktioniert RAG? Schritt für Schritt. Für Kanzleien bedeutet das: Eine Referendarin kann fragen „Welche Frist gilt für den Widerspruch nach §70 VwGO, und haben wir dazu ein internes Memo?“ und erhält eine Antwort mit Verweis auf die konkrete Passage, statt zwanzig PDF-Dateien durchblättern zu müssen.
Welche Dokumente gehören in eine Kanzlei-Wissensdatenbank
Nicht jede Kanzlei startet mit denselben Dokumenttypen, aber folgende Kategorien bilden in der Praxis den Kern einer sinnvollen Wissensdatenbank:
- Gesetzestexte und Kommentarliteratur, die regelmäßig zitiert werden (BGB, HGB, StGB, branchenspezifische Spezialgesetze)
- Eigene Mustertexte und Vertragsklauseln, inklusive der Begründung, warum eine bestimmte Formulierung gewählt wurde
- Interne Memos und Gutachten zu wiederkehrenden Rechtsfragen, oft über Jahre gewachsen und schwer auffindbar
- Relevante Urteile und Leitsatzsammlungen zu den Praxisgebieten der Kanzlei
- Mandatsbezogene Aktennotizen, sofern die Zugriffsrechte sauber auf das jeweilige Mandat beschränkt bleiben
- Compliance- und Berufsrechtsunterlagen (BRAO, BORA, Fachanwaltsordnungen)
Wichtig ist, wie diese Dokumente in durchsuchbare Abschnitte zerlegt werden. Ein 300-seitiger Kommentar darf nicht als ein einziger Block indexiert werden, sonst verliert die Antwort an Präzision. Welche Zerlegung sich für juristische Texte mit ihrer verschachtelten Gliederung (Paragraf, Absatz, Randnummer) eignet, beschreibt der Beitrag zu Chunking-Strategien für RAG im Detail.
Mandantengeheimnis und Vertraulichkeit: private Basen statt öffentlicher Chatbots
Die Verschwiegenheitspflicht nach §43a BRAO ist der zentrale Grund, warum Kanzleien bei KI-Werkzeugen vorsichtiger sein müssen als andere Branchen. Mandatsunterlagen, Namen, Sachverhalte: Nichts davon darf in einem Werkzeug landen, dessen Betreiber die Daten zum Training nachgelagerter Modelle nutzen könnte oder dessen Serverstandort unklar ist. Das ist der entscheidende Unterschied zwischen einem öffentlichen Chat-Interface und einer privaten Wissensdatenbank, auf die ausschließlich die Kanzlei und ihre autorisierten API-Schlüssel zugreifen.
Auf Kopik lässt sich eine Wissensdatenbank bewusst privat anlegen: Sie ist nicht im öffentlichen Katalog gelistet, und nur wer über die Zugangsdaten oder einen API-Schlüssel verfügt, kann Fragen stellen. Für mandatsbezogene Akten ist das die richtige Einstellung. Öffentliche, kostenpflichtige Basen eignen sich dagegen für Wissen, das die Kanzlei bewusst extern anbieten möchte, etwa aufbereitete Leitfäden zu einem Rechtsgebiet. Wie sich juristisches Fachwissen auf diese Weise monetarisieren lässt, beschreibt der Artikel Beratungswissen monetarisieren.
Was „privat“ technisch bedeutet
Fragen Sie bei jedem Anbieter konkret: Wo liegen die Daten, werden Anfragen zum Training von Modellen verwendet, wer hat administrativen Zugriff, und lässt sich eine Base jederzeit löschen? Eine ausführliche Checkliste dazu liefert der Beitrag Privates ChatGPT für Unternehmensdokumente.
Belegte Antworten senken das Haftungsrisiko, ersetzen aber nicht die Prüfung
Der größte praktische Vorteil von RAG gegenüber einem frei antwortenden Sprachmodell ist die Zitierbarkeit. Statt einer Behauptung ohne Quelle liefert die Antwort einen Verweis auf die konkrete Passage im Kommentar, im Urteil oder im internen Memo. Das erlaubt eine schnelle Plausibilitätsprüfung, anstatt die gesamte Recherche von Null zu wiederholen. Wie man eine solche Antwort systematisch gegen die Quelle prüft, zeigt der Artikel KI-Antworten mit Quellenangaben prüfen.
Trotzdem bleibt die Verantwortung beim Menschen. Ein Modell kann eine Passage falsch interpretieren, veraltete Gesetzesfassungen verwechseln oder eine Quelle zitieren, die zwar existiert, aber nicht einschlägig ist. Die Berufspflicht zur gewissenhaften Bearbeitung eines Mandats verlangt, dass eine Anwältin oder ein Anwalt die zitierte Stelle selbst liest, bevor sie in einen Schriftsatz übernommen wird. RAG verkürzt die Suche, nicht die Prüfung. Allgemeine Mechanismen, warum Sprachmodelle trotz Quellenanbindung noch Fehler machen können, erklärt der Beitrag KI-Halluzinationen vermeiden.
Zwei Antwortmodi im Vergleich
| Modus | Was die Kanzlei erhält | Wann sinnvoll |
|---|---|---|
| Antwort mit Zitat | Formulierte Antwort plus Verweis auf die zugrunde liegenden Passagen | Schnelle Orientierung, erste Einschätzung, interne Recherche |
| Nur Passagen | Ausschließlich die relevanten Textausschnitte, ohne Formulierung durch das Modell | Wenn jede Interpretation durch das Modell vermieden werden soll, etwa vor einer Einreichung |
Vom Dokumentenstapel zur durchsuchbaren Wissensdatenbank: so gehen Sie vor
Der Aufbau einer Kanzlei-Wissensdatenbank muss kein IT-Projekt mit Lastenheft sein. In der Praxis funktioniert ein schrittweises Vorgehen am besten:
- Ein abgegrenztes Rechtsgebiet oder Mandat auswählen, für das bereits viele Dokumente existieren (z. B. Arbeitsrecht, Mietrecht, ein wiederkehrender Mandantentyp)
- Gesetzestexte, Mustertexte und die wichtigsten Memos als PDF, Word oder Markdown zusammenstellen
- Eine private Base über /dashboard/bases/new anlegen und die Dokumente hochladen, Kopik übernimmt Extraktion, Chunking und Indexierung für die hybride Suche
- Mit typischen Fragen aus dem Kanzleialltag testen und prüfen, ob die zitierten Passagen tatsächlich die relevantesten sind
- Zugriff für das Team einrichten: über die Weboberfläche für schnelle Recherchen, über API-Schlüssel oder den MCP-Server für die Anbindung an Werkzeuge wie Claude, Cursor oder ChatGPT (Details dazu in /developers)
- Regelmäßig aktualisieren, wenn neue Urteile oder Gesetzesänderungen hinzukommen
Wer bereits mit MCP-fähigen Werkzeugen arbeitet, kann die Wissensdatenbank direkt in die Recherche-Umgebung einbinden, statt zwischen Anwendungen zu wechseln. Die Schritte dafür sind im Beitrag Claude, Cursor oder ChatGPT mit einer Wissensdatenbank verbinden beschrieben. Öffentliche Basen zu angrenzenden Themen lassen sich im Katalog unter /bases ansehen, falls eine Kanzlei prüfen möchte, wie andere Fachgebiete ihre Inhalte strukturieren.
Grenzen, Berufsrecht und Datenschutz im Blick behalten
Drei Punkte sollten vor dem produktiven Einsatz geklärt sein. Erstens die Vertretbarkeit gegenüber dem Mandanten: Wird KI zur Recherche eingesetzt, sollte dies in der Kanzleipolitik dokumentiert sein, insbesondere wenn mandatsbezogene Daten in ein externes System gelangen. Zweitens der Datenschutz: Mandatsunterlagen enthalten häufig personenbezogene Daten im Sinne der DSGVO, eine Auftragsverarbeitungsvereinbarung mit dem Anbieter der Wissensdatenbank ist in diesem Fall Pflicht, nicht optional. Eine strukturierte Checkliste dazu bietet der Artikel DSGVO-konformen Chatbot aufbauen. Drittens die fachliche Grenze: RAG findet, was in den hochgeladenen Dokumenten steht. Fehlt eine aktuelle Gesetzesänderung in der Datenbasis, wird sie auch nicht zitiert, die Antwort wirkt dann vollständig, ist es aber nicht.
Keine Rechtsberatung durch die KI selbst
Eine RAG-gestützte Wissensdatenbank ist ein Recherchewerkzeug für die Kanzlei, keine eigenständige Rechtsberatung gegenüber Dritten. Die Antwort mit Zitat ersetzt nicht die fachliche Würdigung durch eine zugelassene Anwältin oder einen zugelassenen Anwalt, insbesondere nicht bei der Formulierung von Schriftsätzen oder verbindlichen Auskünften.
Kosten realistisch einschätzen
Für eine interne Kanzlei-Wissensdatenbank fallen in der Regel zwei Kostenarten an: die Indexierung der Dokumente beim Anlegen der Base und die laufenden Kosten pro Frage. Bei Kopik lässt sich das über Guthaben steuern, das pro Frage verbraucht wird, oder über ein monatliches Abonnement mit Verbrauchsanzeige ab 12 € im Monat. Für eine kleine Kanzlei mit wenigen, aber intensiv genutzten Rechtsgebieten ist das deutlich günstiger als der Aufbau einer eigenen Infrastruktur mit Vektordatenbank und separatem Suchindex. Wer die Kostenlogik hinter Vektordatenbanken grundsätzlich verstehen möchte, findet Hintergründe im Beitrag Vektordatenbank Kosten.
Erste private Wissensdatenbank für Ihre Kanzlei anlegen
Laden Sie Gesetzestexte, Mustertexte und interne Memos hoch und testen Sie, wie belegte Antworten Ihre Recherche verändern, kostenlos und ohne Verpflichtung.
Fazit
RAG verändert die juristische Recherche nicht durch magische Antworten, sondern durch nachvollziehbare Antworten. Für Kanzleien heißt das konkret: private Basen für mandatsbezogene Unterlagen, sorgfältige Zerlegung komplexer Gesetzestexte, klare Regeln zur Prüfung jeder zitierten Passage und eine bewusste Entscheidung darüber, welches Wissen intern bleibt und welches sich extern monetarisieren lässt. Wer diese Punkte von Anfang an berücksichtigt, gewinnt Zeit bei der Recherche, ohne die Sorgfaltspflicht gegenüber dem Mandat zu verletzen.
Häufige Fragen
Darf eine Kanzlei Mandatsunterlagen überhaupt in eine KI-Wissensdatenbank hochladen?
Grundsätzlich ja, sofern die Unterlagen in einer privaten Base liegen, auf die nur die Kanzlei Zugriff hat, und sofern mit dem Anbieter eine Vereinbarung zur Auftragsverarbeitung nach DSGVO besteht. Öffentliche, für jedermann abfragbare Basen eignen sich nicht für mandatsbezogene Daten.
Ersetzt eine RAG-Antwort mit Zitat die juristische Prüfung?
Nein. Die Antwort zeigt, wo eine Information in den Dokumenten steht, prüft aber nicht deren rechtliche Einschlägigkeit für den konkreten Fall. Die fachliche Würdigung bleibt Aufgabe der zuständigen Anwältin oder des zuständigen Anwalts.
Wie aktuell müssen die Gesetzestexte in der Wissensdatenbank sein?
So aktuell wie möglich, da RAG nur findet, was tatsächlich hochgeladen wurde. Bei Gesetzesänderungen oder neuen Leitentscheidungen sollte die Base zeitnah aktualisiert werden, sonst entsteht der Eindruck einer vollständigen, aber veralteten Antwort.
Kann man eine Kanzlei-Wissensdatenbank auch extern anbieten und damit Geld verdienen?
Ja, für Wissen, das bewusst nicht mandatsvertraulich ist, etwa aufbereitete Leitfäden zu einem Rechtsgebiet. Solche Basen lassen sich öffentlich listen und pro Frage bepreisen, der Ersteller behält dabei den Großteil der Einnahmen.
Wie unterscheidet sich eine Kanzlei-Wissensdatenbank von einem generischen KI-Chatbot?
Ein generischer Chatbot antwortet aus allgemeinem Trainingswissen ohne Bezug zu den eigenen Dokumenten und ohne überprüfbare Quelle. Eine RAG-gestützte Wissensdatenbank sucht zuerst in den hochgeladenen Gesetzestexten, Urteilen und Memos der Kanzlei und zitiert die gefundene Passage.
Welche Zugriffswege gibt es für das Kanzleiteam?
Drei Wege sind üblich: die Weboberfläche für schnelle Einzelrecherchen, eine REST-API mit API-Schlüsseln für die Integration in bestehende Kanzleisoftware, und ein MCP-Server für die direkte Nutzung aus Werkzeugen wie Claude, Cursor oder ChatGPT heraus.
Den Kopik-Newsletter abonnieren
Neue Wissensdatenbanken, RAG-Leitfäden und Produktneuheiten. Eine E-Mail alle ein bis zwei Wochen, Abmeldung mit einem Klick.
Mit dem Abonnement stimmen Sie dem Erhalt unseres Newsletters zu. Ihre Adresse wird nie weitergegeben.