KI- und LLM-Glossar: Die wichtigsten Begriffe für Fachleute
Wenn in Meetings Begriffe wie Token, Embedding oder Reranker fallen, nicken viele, ohne genau zu wissen, was gemeint ist. Dieses Glossar erklärt die wichtigsten Begriffe rund um LLM, RAG und KI-Agenten in klarer, praxisnaher Sprache, damit Sie Angebote von Anbietern besser bewerten und mit Ihrem Entwicklungsteam auf Augenhöhe sprechen können.
Warum ein gemeinsames Vokabular wichtig ist
KI-Projekte scheitern selten an der Technik allein, sondern oft an Missverständnissen zwischen Fachabteilung, IT und Management. Wenn die Rechtsabteilung von „Fine-Tuning“ spricht, aber eigentlich eine einfache Dokumentensuche meint, entstehen falsche Erwartungen und falsche Budgets. Das gilt besonders in regulierten Kontexten: Wer über den AI Act, Prüfungen durch das BSI oder DSGVO-Anforderungen spricht, muss präzise benennen können, ob personenbezogene Daten in ein Modell trainiert werden oder nur zur Laufzeit abgefragt werden. Dieser Unterschied entscheidet oft darüber, ob ein Projekt datenschutzrechtlich unproblematisch ist oder eine aufwendige Folgenabschätzung braucht. Mehr dazu finden Sie in unserer DSGVO-Checkliste für KI-Wissensdatenbanken.
Die Begriffe in diesem Glossar sind grob in drei Gruppen sortiert: die Grundbausteine von Sprachmodellen, die Technik hinter wissensbasierten Antworten (RAG) und die Begriffe rund um Agenten, die selbstständig handeln.
Die Grundbausteine: LLM, Token und Context Window
LLM (Large Language Model)
Ein LLM ist ein Sprachmodell, das auf riesigen Textmengen trainiert wurde, um statistisch plausible Fortsetzungen von Text vorherzusagen. Es „weiß“ nichts im menschlichen Sinn, sondern berechnet, welches nächste Wort angesichts des bisherigen Textes am wahrscheinlichsten ist. Genau daraus folgt auch eine der größten Schwächen: ohne Zugriff auf verlässliche Quellen erfindet ein LLM plausibel klingende, aber falsche Fakten, sogenannte Halluzinationen (siehe unten).
Token
Ein Token ist die kleinste Texteinheit, die ein Sprachmodell verarbeitet, grob ein Wortteil, manchmal ein ganzes kurzes Wort. Ein deutscher Satz mit 15 Wörtern besteht häufig aus 20 bis 25 Token, weil zusammengesetzte Wörter und Umlaute oft in mehrere Token zerlegt werden. Das ist praktisch relevant, weil die meisten Anbieter nach Token abrechnen: Eingabe (Prompt) und Ausgabe (Antwort) zählen beide mit.
Context Window
Das Context Window (Kontextfenster) ist die maximale Menge an Token, die ein Modell in einer einzigen Anfrage gleichzeitig „sehen“ kann, also Prompt, mitgelieferte Dokumente und Antwort zusammen. Ein größeres Kontextfenster klingt verlockend, hat aber Grenzen: Je mehr Text hineingepresst wird, desto eher verliert das Modell relevante Details aus der Mitte des Textes, und die Kosten steigen linear mit der Tokenzahl. Ob ein langes Kontextfenster oder eine gezielte Suche (RAG) die bessere Lösung ist, hängt vom Anwendungsfall ab, dazu mehr in RAG vs. Long Context.
Wie KI an Ihr Wissen kommt: Embedding, Vektordatenbank und RAG
Embedding
Ein Embedding ist die Übersetzung eines Textabschnitts in eine lange Zahlenreihe (einen Vektor), die seine Bedeutung so erfasst, dass ähnliche Inhalte auch zahlenmäßig nahe beieinanderliegen. „Kündigungsfrist“ und „Frist zur Kündigung“ erzeugen dadurch ähnliche Vektoren, obwohl kein Wort übereinstimmt. Eine ausführliche, bildhafte Erklärung finden Sie unter Embeddings einfach erklärt.
Vektordatenbank
Eine Vektordatenbank speichert diese Embeddings und findet bei einer Suchanfrage blitzschnell die inhaltlich ähnlichsten Textabschnitte, statt nach exakten Wörtern zu suchen. Sie ist die technische Grundlage der semantischen Suche. Details zu Funktionsweise, Indexen und Kosten lesen Sie in Was ist eine Vektordatenbank? und in unserem Überblick zu Vektordatenbank-Kosten.
RAG (Retrieval-Augmented Generation)
RAG bezeichnet die Kombination aus Suche (Retrieval) und Texterzeugung (Generation): Statt das Modell raten zu lassen, sucht das System zuerst die relevanten Passagen aus Ihren eigenen Dokumenten und gibt diese dann als Kontext an das Sprachmodell weiter, das daraus eine Antwort mit Quellenangabe formuliert. Genau das ist das Prinzip, auf dem jede Wissensdatenbank auf Kopik basiert: Dokumente hochladen, automatisch in Abschnitte zerlegen und indexieren lassen, anschließend Fragen stellen, die mit zitierten Passagen beantwortet werden. Eine ausführliche Schritt-für-Schritt-Erklärung finden Sie unter Wie funktioniert RAG?.
RAG ist kein Training
Bei RAG lernt das Modell nichts dazu, es bekommt bei jeder Anfrage frische Dokumentauszüge präsentiert. Ändern Sie ein Dokument, wirkt sich das sofort auf künftige Antworten aus, ganz ohne erneutes Training.
Suchqualität verbessern: Chunking, Hybrid Search und Reranker
Chunking
Chunking ist das Zerlegen langer Dokumente in kleinere, durchsuchbare Abschnitte (Chunks). Die Wahl der Strategie, fixe Zeichenlänge, satzweise, semantisch oder struktur-bewusst entlang von Überschriften, beeinflusst die Antwortqualität erheblich. Wer tiefer einsteigen will, findet eine Übersicht in Chunking-Strategien für RAG.
Hybrid Search
Hybrid Search kombiniert klassische Stichwortsuche (zum Beispiel BM25) mit semantischer Vektorsuche. Das fängt die Schwächen beider Methoden auf: reine Vektorsuche übersieht manchmal exakte Begriffe wie Aktenzeichen oder Produktnummern, reine Stichwortsuche übersieht Synonyme und Umschreibungen. Kopik setzt genau deshalb auf hybride Suche mit semantischer Begriffserweiterung. Die Hintergründe erklärt Hybrid Search: BM25 und Vektorsuche.
Reranker
Ein Reranker ist ein zweiter, feinerer Schritt nach der ersten Suche: Er bewertet die anfangs gefundenen Kandidaten-Passagen noch einmal genauer im Hinblick auf die konkrete Frage und sortiert sie neu. Das ist rechenintensiver als die erste Suche, lohnt sich aber, weil es die oft entscheidenden Top-3-Treffer verbessert, die tatsächlich an das Sprachmodell weitergegeben werden.
Von der Antwort zur Aktion: Agent und MCP
Agent
Ein KI-Agent ist ein System, das ein Sprachmodell nutzt, um nicht nur zu antworten, sondern selbstständig mehrstufige Aufgaben zu planen und auszuführen: eine Wissensdatenbank abfragen, das Ergebnis bewerten, bei Bedarf eine weitere Quelle konsultieren und erst dann eine Aktion auslösen, etwa eine E-Mail entwerfen oder einen Datensatz aktualisieren. Entscheidend ist, dass der Agent dafür Werkzeuge (Tools) braucht, mit denen er mit der Außenwelt interagieren kann.
MCP (Model Context Protocol)
MCP ist ein offener Standard, der genau diese Werkzeuge einheitlich zugänglich macht: Statt für jede Kombination aus Modell und Datenquelle eine eigene Integration zu bauen, spricht ein MCP-Server ein gemeinsames Protokoll, das Clients wie Claude, Cursor oder ChatGPT verstehen. Eine Kopik-Wissensdatenbank lässt sich so direkt als MCP-Server anbinden, zusätzlich zur Website und zur REST-API. Die genaue Funktionsweise erklärt MCP (Model Context Protocol) erklärt, eine praktische Anleitung bietet Claude, Cursor oder ChatGPT mit einer Wissensdatenbank verbinden.
Training vs. Abruf: Fine-Tuning und Halluzination
Fine-Tuning
Fine-Tuning bedeutet, ein bestehendes Modell mit zusätzlichen Trainingsdaten weiter zu trainieren, damit es Stil, Tonalität oder ein spezielles Fachvokabular übernimmt. Es ist aufwendig, teuer und muss bei jeder größeren Wissensänderung wiederholt werden. Für die meisten Unternehmensfragen (Was steht in unserem Vertrag? Welche Frist gilt in diesem Fall?) ist Fine-Tuning der falsche Hebel: Hier bringt RAG schnellere, günstigere und leichter nachvollziehbare Ergebnisse, weil Antworten direkt auf zitierbaren Dokumenten beruhen statt auf einem „eingebrannten“ Wissensstand.
Halluzination
Eine Halluzination ist eine selbstbewusst formulierte, aber faktisch falsche oder erfundene Aussage eines Sprachmodells. Sie entsteht, weil das Modell lückenhaftes Wissen durch statistisch plausible Vermutungen ersetzt, ohne das kenntlich zu machen. Der wirksamste Hebel dagegen ist, Antworten konsequent an Quellen zu binden und diese Quellen sichtbar zu machen, damit jede Aussage nachprüfbar bleibt. Konkrete Techniken dazu liefert KI-Halluzinationen vermeiden, und wie Sie eine belegte Antwort im Alltag gegenprüfen, zeigt KI-Antworten mit Quellenangaben prüfen.
Glossar zum schnellen Nachschlagen
KI- und LLM-Begriffe auf einen Blick
| Begriff | Kurzdefinition |
|---|---|
| LLM | Sprachmodell, das Text statistisch fortsetzt, trainiert auf großen Textmengen |
| Token | Kleinste Texteinheit, nach der die meisten Anbieter abrechnen |
| Context Window | Maximale Tokenmenge, die ein Modell pro Anfrage verarbeiten kann |
| Embedding | Zahlenvektor, der die Bedeutung eines Textabschnitts repräsentiert |
| Vektordatenbank | Speichert Embeddings und findet inhaltlich ähnliche Textstellen |
| RAG | Kombination aus Dokumentsuche und Textgenerierung mit Quellenangabe |
| Chunking | Zerlegen langer Dokumente in durchsuchbare Abschnitte |
| Hybrid Search | Kombination aus Stichwortsuche und semantischer Vektorsuche |
| Reranker | Zweite, feinere Sortierung der Suchtreffer vor der Antwortgenerierung |
| Agent | KI-System, das mehrstufige Aufgaben plant und mit Werkzeugen ausführt |
| MCP | Offener Standard zur einheitlichen Anbindung von Daten und Werkzeugen an KI-Clients |
| Fine-Tuning | Weiteres Training eines Modells mit zusätzlichen Daten |
| Halluzination | Selbstbewusst formulierte, aber erfundene oder falsche Aussage eines Modells |
- Bei Vertragsfragen zählt Quellentreue mehr als Kreativität, dafür ist RAG gemacht.
- Bei Stilfragen (Markenstimme, Tonalität) kann Fine-Tuning sinnvoll sein, meist reicht aber ein gutes Prompt.
- Bei sich häufig ändernden Dokumenten (Preislisten, Gesetzestexte) ist RAG fast immer die wartungsärmere Wahl.
- Bei sensiblen Daten entscheidet die Architektur (lokal, privat, öffentlich), nicht der Modellname, über die DSGVO-Konformität.
Begriffe in der Praxis: ein kurzes Beispiel
Stellen Sie sich eine Kanzlei vor, die ihre internen Memos und einschlägige Rechtsprechung durchsuchbar machen will. Die Dokumente werden per Chunking in Abschnitte zerlegt, jeder Abschnitt erhält ein Embedding und landet in einer Vektordatenbank. Bei einer Frage sucht das System per Hybrid Search nach passenden Abschnitten, ein Reranker sortiert die besten Treffer nach vorne, und das LLM formuliert daraus eine Antwort innerhalb seines Context Window, mit Zitat der Fundstelle. Will ein Associate diese Wissensdatenbank direkt aus seinem Editor oder aus Claude heraus abfragen, übernimmt MCP die Anbindung. Wie genau das für Kanzleien aussieht, beschreibt RAG für Kanzleien.
Genau diesen kompletten Ablauf, vom Upload bis zur zitierfähigen Antwort, übernimmt Kopik automatisch: Sie laden PDF, Word-, Text- oder Markdown-Dateien hoch, der Rest (Chunking, Embedding, Indexierung, hybride Suche) läuft im Hintergrund.
Begriffe verstanden, jetzt ausprobieren
Erstellen Sie in wenigen Minuten eine eigene Wissensdatenbank und erleben Sie RAG, Hybrid Search und Quellenangaben live statt nur in der Theorie.
Weiterführend für Entwickler und technische Teams
Wer die Begriffe direkt in Code überführen will, findet in Wissensdatenbank-API in Ihre App einbauen eine praktische Anleitung mit REST-Beispielen, und die vollständige Referenz zu API-Schlüsseln und MCP-Server steht in den Entwicklerdocs bereit.
Häufige Fragen
Was ist der Unterschied zwischen LLM und RAG?
Ein LLM ist das Sprachmodell selbst, das Text erzeugt. RAG ist eine Architektur, die dieses LLM mit einer vorgeschalteten Dokumentsuche kombiniert, damit Antworten auf echten Quellen statt auf reinem Modellwissen beruhen.
Was bedeutet Token in der Praxis für die Kosten?
Die meisten Anbieter berechnen nach Anzahl der verarbeiteten Token, also sowohl für die Eingabe (Prompt, mitgelieferte Dokumente) als auch für die Ausgabe. Lange Kontextfenster und lange Antworten treiben die Kosten entsprechend in die Höhe.
Braucht man für eine Wissensdatenbank immer Fine-Tuning?
Nein, in den meisten Fällen nicht. Für Fragen zu eigenen Dokumenten, Verträgen oder Richtlinien liefert RAG schneller, günstiger und mit Quellenangabe belegbare Antworten, ohne dass ein Modell neu trainiert werden muss.
Was ist der Unterschied zwischen Embedding und Vektordatenbank?
Das Embedding ist die Zahlenrepräsentation eines einzelnen Textabschnitts. Die Vektordatenbank ist der Speicher, der viele solcher Embeddings verwaltet und bei einer Suchanfrage die ähnlichsten davon findet.
Was macht ein Reranker, das die erste Suche nicht schon leistet?
Die erste Suche (Vektor- oder Hybridsuche) ist auf Geschwindigkeit optimiert und liefert eine grobe Trefferliste. Der Reranker prüft diese Kandidaten noch einmal genauer im Kontext der konkreten Frage und bringt die wirklich relevantesten Passagen nach vorne.
Wie hängen Agent und MCP zusammen?
Ein Agent ist das System, das Aufgaben plant und ausführt. MCP ist das Protokoll, über das dieser Agent standardisiert auf Werkzeuge und Datenquellen wie eine Wissensdatenbank zugreifen kann, ohne für jede Quelle eine eigene Integration zu benötigen.
Den Kopik-Newsletter abonnieren
Neue Wissensdatenbanken, RAG-Leitfäden und Produktneuheiten. Eine E-Mail alle ein bis zwei Wochen, Abmeldung mit einem Klick.
Mit dem Abonnement stimmen Sie dem Erhalt unseres Newsletters zu. Ihre Adresse wird nie weitergegeben.