Alle paar Monate wird RAG für tot erklärt. Zuletzt sollte das große Kontextfenster es ablösen. Zwei Millionen Token und mehr, alles hinein, fertig. Wozu dann noch Vektordatenbanken, Chunking und Embedding-Modelle?
Für einen Prototyp mit ein paar PDFs funktioniert das sogar. In Unternehmen geht es um gewachsene Dokumentenlandschaften mit regulatorischen Anforderungen, Zugriff mehrerer Mandanten und Auditierbarkeit. Dort ist „alles in den Kontext laden“ ungefähr so realistisch wie „wir machen einfach Greenfield“.
Die Debatte RAG gegen Long Context führt deshalb in die Irre. Entscheidend sind das Ziel und die Rahmenbedingungen, also Datenart, Volumen, Compliance und Antwortzeiten, dazu die Gesamtstrategie, in die das Muster eingebettet wird.
Unternehmen, die KI produktiv nutzen, haben klare Kriterien, nach denen sie für jeden Anwendungsfall das passende Muster wählen. Manchmal Retrieval, manchmal Long Context, oft ein Hybrid wie bei CAG und RAG. Grundlage ist jeweils eine Bewertung des Anwendungsfalls.
Gleichzeitig verändert sich RAG selbst. Google hat im März 2026 Gemini Embedding 2 vorgestellt, ein Modell, das Text, Bilder, Audio, Video und PDFs in einen gemeinsamen Vektorraum abbildet. Die aufwendige Zerlegung und Aufbereitung von Dokumenten, bisher eine Schwäche von RAG, wird damit deutlich kleiner.
RAG wird gerade erwachsen.