Seitenaufrufe: 29 Aufrufe
Künstliche Intelligenz kann heute Texte schreiben, Fragen beantworten, Code erstellen und große Mengen an Informationen verarbeiten. Doch eine wichtige Frage bleibt: Woher kennt eine KI eigentlich die Informationen, die sie für eine konkrete Antwort benötigt?
Genau hier kommt Retrieval-Augmented Generation, kurz RAG, ins Spiel.
Die Technologie ermöglicht es, ein KI-Sprachmodell mit eigenen Informationen zu verbinden. Statt sich ausschließlich auf das Wissen zu verlassen, das bereits während des Trainings gelernt wurde, kann die KI gezielt auf Dokumente, Datenbanken, Handbücher, Wikis oder andere Informationsquellen zugreifen.
Für Unternehmen ist das besonders interessant. Denn ein allgemeines Sprachmodell kennt nicht automatisch die internen Prozesse, technischen Dokumentationen, Produktinformationen oder Unternehmensrichtlinien eines Betriebs.
Mit einer entsprechenden Wissensbasis kann künstliche Intelligenz dieses individuelle Unternehmenswissen nutzen und daraus passende Antworten erzeugen.
Was bedeutet RAG?
RAG steht für Retrieval-Augmented Generation. Der Begriff beschreibt einen Ansatz, bei dem ein Sprachmodell vor der eigentlichen Antwort zusätzliche Informationen aus einer externen Wissensquelle erhält.
Der Ablauf lässt sich vereinfacht so darstellen:
Frage → Informationen suchen → relevanten Kontext bereitstellen → Antwort erzeugen
Stellt ein Mitarbeiter beispielsweise eine Frage zu einer internen Arbeitsanweisung, durchsucht das System zunächst die vorhandenen Unterlagen. Passende Textabschnitte werden anschließend an das Sprachmodell übergeben.
Das Modell verwendet diesen Kontext, um eine Antwort zu formulieren.
Der große Vorteil: Die Informationen müssen nicht bereits Bestandteil des Trainings des verwendeten Sprachmodells sein.
Warum reicht ein normales KI-Sprachmodell nicht aus?
Moderne Sprachmodelle verfügen über enormes Wissen. Trotzdem kennen sie nicht automatisch die individuellen Informationen eines Unternehmens.
Ein mittelständischer Betrieb besitzt beispielsweise:
- technische Handbücher
- interne Arbeitsanweisungen
- Wartungsdokumentationen
- Produktdatenblätter
- PDF-Dateien
- Schulungsunterlagen
- Support-Dokumentationen
- interne Wikis
- Prozessbeschreibungen
- Qualitätsrichtlinien
Diese Informationen wurden nicht unbedingt beim Training eines allgemeinen Modells verwendet.
Ein Mitarbeiter könnte beispielsweise fragen:
„Welche Schritte müssen wir bei der Wartung unserer Anlage beachten?“
Ein allgemeines Sprachmodell kann darauf möglicherweise nur eine allgemeine Antwort geben.
Eine KI mit angebundener Wissensbasis kann dagegen gezielt nach den internen Wartungsunterlagen suchen und daraus eine Antwort erstellen.
Damit wird aus einem allgemeinen Chatbot eine deutlich stärker auf den jeweiligen Betrieb zugeschnittene Anwendung.
Wie funktioniert Retrieval-Augmented Generation technisch?
Hinter einer solchen Lösung arbeiten mehrere Komponenten zusammen.
Zunächst werden die vorhandenen Dokumente verarbeitet. Große Dateien werden normalerweise in kleinere Textabschnitte aufgeteilt. Diese sogenannten Chunks ermöglichen eine gezieltere Suche.
Anschließend werden die Textabschnitte mithilfe eines Embedding-Modells in numerische Repräsentationen umgewandelt.
Diese sogenannten Embeddings bilden vereinfacht gesagt die Bedeutung eines Textes ab. Dadurch kann das System später nicht nur nach identischen Wörtern suchen, sondern auch nach inhaltlich ähnlichen Informationen.
Die Daten werden häufig in einer Vektordatenbank gespeichert.
Stellt ein Benutzer später eine Frage, wird auch diese Anfrage in eine entsprechende Repräsentation umgewandelt. Das System sucht anschließend nach den Textabschnitten, die semantisch am besten zur Anfrage passen.
Diese Informationen werden dem Sprachmodell als zusätzlicher Kontext übergeben.
Erst danach erzeugt das Modell die eigentliche Antwort.
Ein einfaches Beispiel aus dem Unternehmensalltag
Stellen wir uns einen IT-Dienstleister vor.
Im Unternehmen befinden sich mehrere hundert Dokumente. Dazu gehören Installationsanleitungen, interne Prozesse, Netzwerkdokumentationen und Support-Handbücher.
Ein Mitarbeiter möchte wissen:
„Wie wird bei unserem Kunden die Datensicherung konfiguriert?“
Ohne eine intelligente Wissenssuche müsste er möglicherweise mehrere Dokumente öffnen und durchsuchen.
Mit einer KI-gestützten Wissensbasis läuft der Vorgang anders ab:
- Der Mitarbeiter stellt seine Frage.
- Das System analysiert die Anfrage.
- Relevante Dokumente werden gesucht.
- Passende Textabschnitte werden ausgewählt.
- Das Sprachmodell erhält diese Informationen.
- Die Antwort wird verständlich formuliert.
Der Mitarbeiter bekommt dadurch eine Antwort, die sich auf die vorhandene Dokumentation bezieht.
Das spart Zeit und macht vorhandenes Wissen leichter zugänglich.
Unternehmenswissen mit KI nutzbar machen
Viele Unternehmen besitzen große Mengen an Wissen, das zwar digital vorhanden ist, aber im Alltag nur schwer gefunden wird.
Eine Dokumentenablage mit mehreren tausend Dateien ist ein gutes Beispiel dafür. Die Informationen sind vorhanden, aber Mitarbeiter müssen oft genau wissen, wonach sie suchen.
Eine KI-Wissensbasis verändert diesen Ansatz.
Statt nach einem bestimmten Dateinamen zu suchen, kann ein Mitarbeiter eine Frage in natürlicher Sprache stellen.
Beispielsweise:
„Welche Voraussetzungen müssen erfüllt sein, bevor Gerät X installiert werden kann?“
Die Anwendung sucht passende Informationen aus der Dokumentation und stellt sie dem Sprachmodell zur Verfügung.
Dadurch wird künstliche Intelligenz zu einer Schnittstelle zwischen Mitarbeitern und dem vorhandenen Unternehmenswissen.
RAG und Fine-Tuning: Was ist der Unterschied?
Retrieval-Augmented Generation wird häufig mit Fine-Tuning verwechselt. Beide Methoden verfolgen jedoch unterschiedliche Ziele.
Beim Fine-Tuning wird ein vorhandenes Sprachmodell mit zusätzlichen Beispielen weiter angepasst. Dadurch kann es beispielsweise bestimmte Aufgaben, Formulierungen oder Verhaltensweisen besser erlernen.
Bei einem Retrieval-System werden dagegen Informationen während der Anfrage abgerufen und als Kontext zur Verfügung gestellt.
Vereinfacht:
Fine-Tuning: Das Verhalten oder die Fähigkeiten eines Modells werden angepasst.
RAG: Das Modell erhält Zugriff auf zusätzliche Informationen.
Das macht den Ansatz besonders interessant für Unternehmensdaten, die sich regelmäßig ändern.
Wenn beispielsweise ein internes Handbuch aktualisiert wird, muss nicht zwangsläufig das gesamte Sprachmodell neu trainiert werden. Stattdessen kann die neue Version in die Wissensbasis übernommen werden.
Welche Daten können verwendet werden?
Die möglichen Datenquellen hängen von der jeweiligen technischen Umsetzung ab.
Typische Quellen sind:
- PDF-Dokumente
- Word-Dateien
- Webseiten
- interne Wikis
- Textdateien
- Datenbanken
- technische Handbücher
- Produktdokumentationen
- Support-Unterlagen
- Prozessbeschreibungen
Dadurch lässt sich die Technologie für viele unterschiedliche Unternehmensbereiche einsetzen.
Besonders interessant wird sie dort, wo große Mengen an unstrukturierten Informationen vorhanden sind.
RAG und lokale KI
Eine besonders spannende Kombination entsteht durch die Verbindung von RAG mit lokaler KI.
Unternehmen können Sprachmodelle inzwischen auch auf eigener Hardware betreiben. Lösungen wie Ollama machen den lokalen Betrieb verschiedener Open-Source-Modelle vergleichsweise einfach.
Dadurch kann eine Architektur entstehen, bei der die einzelnen Komponenten innerhalb der eigenen Infrastruktur betrieben werden:
Eigene Dokumente → Wissensdatenbank → lokale KI → Antwort
Das kann für Unternehmen interessant sein, die ihre Daten möglichst unter eigener Kontrolle halten möchten.
Dabei sollte allerdings nicht der Eindruck entstehen, dass ein lokaler Betrieb automatisch vollständige Sicherheit garantiert.
Auch bei einer lokalen Lösung müssen Zugriffsrechte, Verschlüsselung, Netzwerksegmentierung, Updates, Protokollierung und der Schutz der Dokumente berücksichtigt werden.
Welche Vorteile bietet eine KI-Wissensbasis?
Der Einsatz einer solchen Architektur kann verschiedene Vorteile bringen.
Schneller Zugriff auf Informationen
Mitarbeiter können Fragen in natürlicher Sprache stellen, anstatt sich durch zahlreiche Dokumente zu arbeiten.
Nutzung eigener Daten
Die Anwendung kann Informationen aus unternehmensinternen Quellen berücksichtigen.
Aktualisierbare Wissensbasis
Neue Dokumente können hinzugefügt und veraltete Informationen ersetzt werden.
Unterstützung im Support
Mitarbeiter im technischen oder kaufmännischen Support können schneller auf relevante Informationen zugreifen.
Einfachere Einarbeitung
Neue Mitarbeiter können über eine zentrale KI-Schnittstelle auf vorhandene Dokumentationen zugreifen.
Kombination mit lokaler KI
Bei geeigneter Infrastruktur lässt sich der gesamte Prozess auch mit lokal betriebenen Sprachmodellen umsetzen.
Wo liegen die Grenzen?
Auch eine gut konzipierte Lösung kann Fehler machen.
Eine wichtige Voraussetzung ist die Qualität der vorhandenen Daten.
Sind Dokumente veraltet, widersprüchlich oder fehlerhaft, können daraus ebenfalls problematische Antworten entstehen.
Auch die Suche selbst ist entscheidend. Werden die relevanten Textabschnitte nicht gefunden, erhält das Sprachmodell möglicherweise nicht die Informationen, die es für eine korrekte Antwort benötigt.
Deshalb spielen die Dokumentenaufbereitung, die Auswahl des Embedding-Modells, die Suchstrategie und die Qualität des verwendeten Sprachmodells eine wichtige Rolle.
Auch Berechtigungen dürfen nicht vergessen werden.
Ein Mitarbeiter sollte nicht automatisch sämtliche internen Dokumente durchsuchen können, nur weil diese technisch in einer gemeinsamen Wissensdatenbank liegen.
Ein professionelles System benötigt deshalb ein passendes Rechte- und Sicherheitskonzept.
Kann RAG Halluzinationen verhindern?
Nein – vollständig verhindern kann die Technologie sogenannte Halluzinationen nicht.
Sie kann allerdings dazu beitragen, die Qualität der Antworten zu verbessern.
Wenn relevante Dokumente gefunden und dem Sprachmodell als Kontext übergeben werden, kann sich die Antwort stärker auf überprüfbare Informationen stützen.
Eine Garantie für die Richtigkeit gibt es trotzdem nicht.
Für besonders kritische Prozesse sollte deshalb weiterhin eine menschliche Kontrolle vorgesehen werden.
Besonders hilfreich ist es, wenn die Anwendung zusätzlich anzeigt, aus welchen Dokumenten oder Textstellen eine Antwort stammt.
Dadurch können Mitarbeiter die Informationen bei Bedarf überprüfen.
Ist die Technologie auch für kleine Unternehmen interessant?
Ja.
Man benötigt nicht zwingend tausende Mitarbeiter oder Millionen von Dokumenten.
Auch ein kleiner oder mittelständischer Betrieb kann von einer internen KI profitieren.
Mögliche Einsatzbereiche sind beispielsweise:
- technische Dokumentation
- interne Prozesse
- Produkthandbücher
- Support
- Mitarbeiterschulungen
- Onboarding
- Qualitätsmanagement
- interne Wissenssuche
Gerade wenn Mitarbeiter regelmäßig dieselben Informationen suchen, kann eine intelligente Dokumentensuche einen praktischen Mehrwert bieten.
Wie sieht eine typische Architektur aus?
Eine einfache Architektur besteht aus mehreren Bausteinen.
1. Datenquellen
Hier befinden sich die vorhandenen Dokumente und Informationen.
2. Dokumentenverarbeitung
Die Inhalte werden ausgelesen und in geeignete Textabschnitte aufgeteilt.
3. Embedding-Modell
Die Textabschnitte werden für die semantische Suche aufbereitet.
4. Vektordatenbank
Hier werden die aufbereiteten Informationen gespeichert.
5. Retrieval
Bei einer Anfrage werden passende Informationen gesucht.
6. Sprachmodell
Das Modell erhält die Frage und den gefundenen Kontext und formuliert daraus eine Antwort.
Je nach Anforderung können diese Komponenten vollständig lokal, teilweise lokal oder über Cloud-Dienste betrieben werden.
Warum RAG für die Zukunft der Unternehmens-KI wichtig ist
Künstliche Intelligenz entwickelt sich immer stärker von einem allgemeinen Werkzeug zu einer Technologie, die direkt mit Unternehmensprozessen verbunden wird.
Die entscheidende Frage lautet deshalb nicht mehr nur:
„Welches KI-Modell ist das beste?“
Viel wichtiger wird:
„Wie kann unsere KI auf die Informationen zugreifen, die für unser Unternehmen relevant sind?“
Retrieval-Augmented Generation liefert dafür einen wichtigen technischen Ansatz.
Die Methode verbindet Sprachmodelle mit individuellen Wissensquellen und ermöglicht dadurch Anwendungen, die wesentlich näher am tatsächlichen Arbeitsalltag eines Unternehmens liegen.
Besonders spannend wird das Zusammenspiel mit lokaler KI, Open-Source-Modellen und eigener IT-Infrastruktur.
Fazit
RAG (Retrieval-Augmented Generation) verbindet künstliche Intelligenz mit externen Wissensquellen.
Das Sprachmodell beantwortet eine Frage nicht ausschließlich auf Basis seines Trainingswissens. Stattdessen werden zunächst passende Informationen aus einer angebundenen Wissensbasis gesucht und anschließend als Kontext für die Antwort verwendet.
Für Unternehmen ergeben sich dadurch zahlreiche Möglichkeiten.
Eigene Dokumente, Handbücher, interne Prozesse und Wissensdatenbanken können wesentlich einfacher mit KI nutzbar gemacht werden.
In Kombination mit lokalen Sprachmodellen kann daraus außerdem eine leistungsfähige und kontrollierbare KI-Infrastruktur entstehen.
RAG ist dabei kein eigenes KI-Modell. Es ist vielmehr ein Konzept beziehungsweise eine Systemarchitektur, mit der Sprachmodelle auf zusätzliche Informationen zugreifen können.
Damit wird eine wichtige Frage der modernen Unternehmens-KI beantwortet:
Nicht nur die KI selbst ist entscheidend – sondern auch das Wissen, auf das sie zugreifen kann.
