Das Problem
Das Modell kennt deine internen Dokumente nicht.
- Es wurde nicht auf deinen Daten trainiert
- Fragen dazu führen zu Halluzinationen
- Nachtrainieren ist teuer und träge
Die Lösung: RAG
Retrieval-Augmented Generation: passende Dokumente suchen und dem Modell mitgeben.
- Das Modell antwortet aus dem gelieferten Kontext
- Belegbar und aktuell
- Ohne das Modell neu zu trainieren
Qualität & Grenzen
RAG ist nur so gut wie die Quellen und das Chunking.
- Gute Aufteilung der Dokumente ist entscheidend
- Quellen aktuell halten
- Antworten stichprobenartig prüfen
Die Aufbereitung (Indexierung)
Bevor RAG antworten kann, werden die Quellen einmalig vorbereitet.
- Dokumente laden und in Chunks aufteilen
- Chunks in Embeddings umwandeln
- Vektoren in einer Vektordatenbank ablegen
RAG oder Fine-Tuning?
RAG
Fügt Wissen zur Laufzeit hinzu – schnell aktualisierbar, mit Quellenangabe.
Fine-Tuning
Trainiert Stil/Verhalten ins Modell – aufwändig, Wissen bleibt statisch.
Für aktuelles Faktenwissen fast immer RAG – Fine-Tuning eher für Ton und Format.