Eigene Dokumente mit KI durchsuchen: RAG einfach erklärt

Handbücher, Verträge, Angebote, Protokolle: In vielen Unternehmen steckt das Wissen in Tausenden Dokumenten, die kaum jemand vollständig kennt. Ein KI-Assistent, der Fragen auf Basis dieser Dokumente beantwortet, klingt da verlockend. Die Technik dahinter heißt meist RAG. Dieser Artikel erklärt ohne Fachchinesisch, wie sie funktioniert und was Sie vor einem Projekt wissen sollten.

Das Problem: Sprachmodelle kennen Ihre Daten nicht

Große Sprachmodelle (Large Language Models, LLM) wie die hinter ChatGPT oder Claude wurden mit riesigen Mengen öffentlicher Texte trainiert. Ihre internen Dokumente, Preislisten oder Arbeitsanweisungen kennen sie nicht. Fragt man sie trotzdem danach, erfinden sie im ungünstigsten Fall eine plausibel klingende Antwort. Das nennt man Halluzination.

Man könnte ein Modell mit den eigenen Daten nachtrainieren (Fine-Tuning). Das ist aber aufwendig, muss bei jeder Änderung der Dokumente wiederholt werden und macht nicht nachvollziehbar, woher eine Aussage stammt. Für die Suche in Unternehmenswissen ist daher ein anderer Ansatz verbreitet.

Was RAG bedeutet

RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa „durch Abruf ergänzte Textgenerierung“. Der Begriff wurde 2020 in einem Forschungspapier geprägt, an dem unter anderem Forschende von Facebook AI Research (heute Meta) beteiligt waren. Die Idee ist einfach: Bevor das Sprachmodell antwortet, sucht ein System die passenden Textstellen aus Ihren Dokumenten heraus und gibt sie dem Modell mit.

Das Modell antwortet dann nicht aus dem Gedächtnis, sondern auf Grundlage der mitgelieferten Auszüge. Vergleichen Sie es mit einer Prüfung, bei der Unterlagen erlaubt sind: Das Modell formuliert die Antwort, die Fakten kommen aus Ihren Dokumenten.

So funktioniert RAG Schritt für Schritt

1. Dokumente vorbereiten

Die Dokumente werden eingelesen, also PDFs, Word-Dateien, Wiki-Seiten oder E-Mails. Der Text wird in kleinere Abschnitte zerlegt, sogenannte Chunks, zum Beispiel einzelne Absätze oder Kapitel.

2. Abschnitte in Zahlen übersetzen

Jeder Abschnitt wird mit einem Embedding-Modell in einen Zahlenvektor umgewandelt. Ein Embedding bildet die Bedeutung eines Textes so ab, dass inhaltlich ähnliche Texte ähnliche Zahlen erhalten. Die Vektoren werden in einer Vektordatenbank gespeichert.

3. Passende Stellen finden

Stellt jemand eine Frage, wird auch diese in einen Vektor übersetzt. Das System sucht dann die Abschnitte, deren Bedeutung der Frage am nächsten kommt. Anders als eine klassische Stichwortsuche findet es so auch Treffer, in denen andere Wörter verwendet werden, etwa „Urlaubsantrag“ bei der Frage nach „freien Tagen“. Häufig wird die semantische Suche mit einer Stichwortsuche kombiniert.

4. Antwort erzeugen

Die gefundenen Abschnitte werden zusammen mit der Frage an das Sprachmodell geschickt, verbunden mit der Anweisung, nur auf dieser Grundlage zu antworten. Gute Systeme zeigen zusätzlich an, aus welchem Dokument die Information stammt, damit Nutzer sie nachprüfen können.

RAG, Fine-Tuning und klassische Suche im Vergleich

Typische Einsatzfälle im Mittelstand

• Interne Wissensdatenbank: Mitarbeitende fragen nach Prozessen, Richtlinien oder technischen Details, statt Ordner zu durchsuchen.
• Kundenservice: Ein Assistent schlägt Antworten auf Basis von Handbüchern und früheren Tickets vor, ein Mensch prüft und versendet.
• Vertrieb: Schneller Zugriff auf Produktdaten, Datenblätter und frühere Angebote.
• Einarbeitung: Neue Kolleginnen und Kollegen finden Antworten, ohne ständig nachfragen zu müssen.

Wo RAG an Grenzen stößt

RAG ist kein Allheilmittel. Die Qualität der Antworten hängt stark von den Dokumenten ab: Veraltete, widersprüchliche oder schlecht gescannte Unterlagen führen zu schlechten Antworten. Ein Assistent ist nur so gut wie die Wissensbasis dahinter.

Auch die Suche kann danebenliegen. Findet das System nicht die richtigen Abschnitte, antwortet das Modell auf falscher Grundlage. Fragen, die eine Auswertung über viele Dokumente erfordern, etwa „Wie viele Verträge laufen dieses Jahr aus?“, beantwortet ein reines RAG-System schlecht. Dafür eignen sich strukturierte Daten und klassische Auswertungen besser.

Halluzinationen werden durch RAG reduziert, aber nicht vollständig ausgeschlossen. Deshalb ist die Quellenangabe so wichtig.

Datenschutz und Berechtigungen

Bei einem RAG-System gelangen Ausschnitte Ihrer Dokumente an das Sprachmodell. Nutzen Sie einen Cloud-Dienst, gelten dieselben Regeln wie bei jedem anderen KI-Werkzeug: Auftragsverarbeitungsvertrag, Klärung des Datenstandorts und keine Nutzung Ihrer Daten zum Training. Alternativ lassen sich Sprachmodelle auch auf eigener Infrastruktur oder bei europäischen Hostern betreiben.

Ein oft unterschätzter Punkt sind Zugriffsrechte. Wenn alle Dokumente in einen gemeinsamen Index wandern, kann der Assistent plötzlich Personalakten oder Gehaltslisten zitieren. Das System muss die bestehenden Berechtigungen beachten und nur Abschnitte verwenden, die die fragende Person auch selbst öffnen dürfte.

Wovon der Aufwand abhängt

Pauschale Preise für ein RAG-System lassen sich kaum nennen, weil die Kosten stark vom Umfang abhängen. Die wichtigsten Faktoren sind:

• Menge und Zustand der Dokumente: Saubere Textdateien sind schnell verarbeitet, gescannte Papierakten brauchen zuerst eine Texterkennung.
• Anzahl der Datenquellen: Jede Anbindung, etwa an Dateiablage, Wiki oder Ticketsystem, verursacht eigenen Aufwand.
• Hosting-Modell: Cloud-Modelle werden meist nach Nutzung abgerechnet, eigene Infrastruktur verursacht Hardware- und Betriebskosten.
• Berechtigungskonzept: Je feiner die Zugriffsrechte, desto aufwendiger die Umsetzung.
• Nutzungsintensität: Viele Anfragen erhöhen die laufenden Kosten für das Sprachmodell.

Checkliste: So starten Sie ein RAG-Projekt

1. Anwendungsfall eingrenzen: Starten Sie mit einem klar umrissenen Bereich, zum Beispiel dem Support-Handbuch, nicht mit der gesamten Dateiablage.
2. Dokumente sichten: Entfernen Sie veraltete Versionen und Dubletten, klären Sie, wer für Aktualisierungen verantwortlich ist.
3. Testfragen sammeln: Notieren Sie 30 bis 50 echte Fragen mit den richtigen Antworten. So können Sie die Qualität messen.
4. Hosting und Datenschutz klären: Cloud-Modell mit AVV, europäischer Anbieter oder eigener Betrieb.
5. Berechtigungen abbilden: Der Assistent darf nur zeigen, was die Person ohnehin sehen darf.
6. Pilot mit kleiner Gruppe: Sammeln Sie Feedback, bevor Sie das System breit ausrollen.
7. Pflege einplanen: Neue und geänderte Dokumente müssen regelmäßig in den Index übernommen werden.

Unterstützung durch Simplify Data

Simplify Data aus Kiel entwickelt KI-Lösungen und Automatisierungen für Unternehmen in Schleswig-Holstein, Hamburg und deutschlandweit. Dazu gehört auch die Anbindung eigener Dokumente an Sprachmodelle, von der Auswahl des Hostings bis zur Integration in bestehende Systeme. Mehr dazu auf unserer Seite zu KI-Lösungen für Unternehmen.

Quellen

• Lewis et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
• BSI: Generative KI-Modelle, Chancen und Risiken für Industrie und Behörden