Retrieval Augmented Generation, kurz RAG, verbindet ein Sprachmodell mit einem Wissensbestand, den das Modell beim Training nicht gesehen hat. Bei jeder Frage sucht das System zuerst die passenden Textstellen aus den eigenen Dokumenten heraus und gibt sie dem Modell als Kontext mit. Die Antwort stützt sich damit auf Verträge, Richtlinien und Akten des Unternehmens und kann ihre Quellen nennen.
Wie es funktioniert
Die Dokumente werden in Abschnitte zerlegt und als Vektoren in einem Index abgelegt. Eine Anfrage wird ebenso umgewandelt, und das System holt die inhaltlich nächsten Abschnitte. Gute Lösungen kombinieren diese semantische Suche mit klassischer Volltextsuche und filtern über Metadaten wie Dokumentart, Status oder Gültigkeit.
Woran es hängt
Die Qualität einer RAG-Lösung entscheidet sich selten am Modell. Sie entscheidet sich an den Dokumenten. Wenn überholte Fassungen neben gültigen liegen, findet das System beide. Fehlt der Aktenbezug, fehlt der Zusammenhang. Und wenn Berechtigungen beim Abruf nicht geprüft werden, sieht ein Anwender in der Antwort Inhalte, die er im ECM nie öffnen dürfte. Deshalb gehören Metadaten und Berechtigungen zur Architektur einer RAG-Lösung.
Abgrenzung
Große Kontextfenster und Cache Augmented Generation ersetzen RAG nicht, sie ergänzen es. Für einen kleinen, stabilen Wissensbestand reicht es oft, ihn vollständig mitzugeben. Für große und sich ständig ändernde Bestände bleibt der gezielte Abruf das passende Muster.