Ein Sprachmodell kennt Ihr Unternehmen nicht. Es kennt weder Ihre Produkte noch Ihre Handbücher. RAG, kurz für Retrieval Augmented Generation, löst das: Die KI sucht vor der Antwort passende Stellen in Ihren Dokumenten und formuliert daraus eine Antwort.
So funktioniert es
- Dokumente werden in kleine Abschnitte zerlegt.
- Jeder Abschnitt wird als Zahlenfolge gespeichert, die seine Bedeutung abbildet.
- Bei einer Frage sucht das System die inhaltlich passendsten Abschnitte.
- Das Modell erhält Frage und Abschnitte und formuliert die Antwort.
Warum das so hilfreich ist
Die Antworten beruhen auf Ihren Inhalten. Sie lassen sich mit Quellen belegen und aktualisieren, ohne ein Modell neu zu trainieren. Änderungen im Dokument wirken sich nach der nächsten Aktualisierung direkt aus.
Wo es sich lohnt
- Produktberatung mit großem Sortiment
- Interne Wissenssuche in Handbüchern und Richtlinien
- Support mit vielen wiederkehrenden Fragen
- Prüfung von Unterlagen anhand interner Vorgaben
Die typischen Stolperfallen
Die Qualität hängt fast immer an den Daten. Veraltete oder widersprüchliche Dokumente führen zu schlechten Antworten. Auch RAG kann Fehler machen. Testen Sie deshalb mit echten Fragen, zeigen Sie Quellen an und legen Sie fest, wann das System an einen Menschen übergibt.
Datenschutz nicht vergessen
Wenn Dokumente personenbezogene Daten enthalten, müssen Rechte, Speicherort und Anbieter geklärt sein. Berechtigungen sollten auch für die KI gelten: Sie darf niemandem Inhalte zeigen, die diese Person sonst nicht sehen dürfte.
Wie Dokumente zerlegt werden, entscheidet mit
Das Zerlegen klingt nach einem Nebenschritt, ist aber oft der größte Hebel. Sind die Abschnitte zu klein, fehlt der Zusammenhang: Die Fundstelle nennt ein Drehmoment, aber nicht mehr die Maschine, zu der es gehört. Sind sie zu groß, wird die Suche ungenau, und das Modell erhält viel Unnötiges. Bewährt hat sich, an der Struktur des Dokuments entlang zu schneiden, also an Überschriften und Kapiteln, statt stur nach Zeichenzahl. Jeder Abschnitt sollte zusätzlich Metadaten tragen:
- Titel des Dokuments und Kapitelüberschrift
- Version und Datum der letzten Änderung
- Produkt, Abteilung oder Geltungsbereich
- Berechtigung, wer den Inhalt sehen darf
Tabellen, Scans und Abbildungen verlangen eigene Sorgfalt. Eine aus dem PDF gezogene Tabelle zerfällt schnell in eine Folge von Zahlen ohne Bezug zu den Spaltenköpfen. Prüfen Sie also früh, wie Ihre wichtigsten Dokumente nach der Aufbereitung tatsächlich aussehen.
Nehmen Sie sich dafür einige typische Dateien vor und lesen Sie die erzeugten Abschnitte wie ein Mensch. Was Sie selbst ohne das Originaldokument nicht verstehen, kann auch das Modell kaum sinnvoll verwenden. Ein solcher Blick kostet wenig Zeit und erspart spätere Fehlersuche.
Warum Bedeutungssuche allein oft nicht reicht
Die Suche nach Bedeutung findet auch Stellen, die andere Wörter verwenden. Bei exakten Begriffen wie Artikelnummern oder Typbezeichnungen ist sie jedoch manchmal schwächer als eine klassische Stichwortsuche. Viele Systeme kombinieren deshalb beide Verfahren. Anschließend kann ein weiterer Schritt die Treffer nach ihrer Relevanz neu ordnen, bevor sie zum Modell gelangen. Zusätzlich helfen Filter über die Metadaten: Wer nach der aktuellen Reisekostenregelung fragt, sollte die Fassung erhalten, die heute gilt, und nicht drei alte Versionen.
Qualität messbar machen
Ob ein RAG-System gut ist, lässt sich nicht anhand einiger Vorführfragen beurteilen. Legen Sie gemeinsam mit dem Fachteam einen Testkatalog an, mit echten Fragen und der jeweils erwarteten Antwort samt Quelle. Nehmen Sie auch Fragen auf, auf die es in den Dokumenten keine Antwort gibt, denn hier zeigt sich, ob das System eine Lücke zugibt oder etwas erfindet. Bewerten Sie Suche und Antwort getrennt:
- Wurde die richtige Stelle gefunden?
- Ist die Antwort durch die gefundene Stelle wirklich gedeckt?
- Beantwortet sie auch die gestellte Frage?
- Sagt das System ehrlich, wenn es nichts weiß?
Die Trennung spart Zeit bei der Fehlersuche. Findet die Suche die richtige Stelle nicht, hilft kein besseres Modell. Führen Sie den Katalog nach jeder größeren Änderung erneut aus, etwa nach einem Modellwechsel oder einer neuen Aufbereitung.
Wissen braucht eine Zuständigkeit
Nach dem Start entscheidet die Pflege über die Qualität. Jeder Dokumentenbereich braucht eine zuständige Person, die veraltete Inhalte zurückzieht. Die Aktualisierung sollte automatisch laufen, damit geänderte und gelöschte Dokumente auch im Index ankommen. Auch unbeantwortete Fragen sind wertvoll: Taucht eine Frage im Technik-Support immer wieder auf, ohne dass es eine gute Antwort gibt, fehlt vermutlich nicht die KI, sondern der Text dazu.
Ist RAG hier überhaupt das Richtige?
| Ansatz | Passt gut, wenn | Passt weniger, wenn |
|---|---|---|
| RAG | Antworten stecken in Texten und sollen mit Quelle formuliert werden | Exakte Berechnungen oder vollständige Listen gebraucht werden |
| Klassische Volltextsuche | Nutzer suchen ein Dokument oder einen exakten Begriff | Eine zusammengefasste Antwort aus mehreren Stellen gewünscht ist |
| Abfrage einer Datenbank | Es um Bestände, Preise oder Status aus strukturierten Systemen geht | Das Wissen nur in Fließtexten vorliegt |
| Anpassung des Modells durch Training | Es um einen bestimmten Stil oder ein festes Ausgabeformat geht | Inhalte sich häufig ändern und Quellen nötig sind |
Bereit für den RAG-Pilot?
Typische Fehler
Veraltete Entwürfe und doppelte Dateien verschlechtern die Antworten und öffnen unter Umständen auch Berechtigungsprobleme. Beginnen Sie mit einem geprüften Bestand für einen klar umrissenen Zweck.
Oft liegt die Ursache bei Aufbereitung oder Suche. Prüfen Sie zuerst, ob die richtige Stelle überhaupt gefunden wurde.
Fragen wie die Summe aller offenen Aufträge lassen sich aus Textstellen nicht zuverlässig beantworten. Verbinden Sie solche Fragen besser direkt mit einer Datenbank oder Ihrem Fachsystem.
Häufige Fragen
Was ist der Unterschied zwischen RAG und Feintuning?
RAG holt zur Laufzeit passende Inhalte aus Ihren Dokumenten und kann Quellen nennen. Beim Feintuning wird das Modell angepasst, was eher für Stil oder Format hilft als für sich ändernde Fakten.
Braucht man für RAG eine Vektordatenbank?
Für die Bedeutungssuche braucht man einen Speicher für die Zahlenfolgen. Das kann eine eigene Vektordatenbank oder eine Erweiterung einer vorhandenen Datenbank sein. Die Wahl hängt von Datenmenge und Ihrer Umgebung ab.
Warum erfindet ein RAG-System trotzdem manchmal etwas?
Das Modell kann Fundstellen falsch deuten oder Lücken mit plausiblen Aussagen füllen. Klare Anweisungen, Quellenangaben und Tests mit unbeantwortbaren Fragen senken dieses Risiko, schließen es aber nicht vollständig aus.
Von Patrick Thomas, KI Sidekick. Dieser Artikel ersetzt keine Rechts- oder Steuerberatung.
