Ich habe mir einen privaten „ChatGPT fürs Unternehmen" gebaut — RAG über das firmeninterne Confluence, komplett on-prem auf eigener GPU. Die erste lauffähige Version stand schnell. Der Chatbot war der einfache Teil.
Der Reflex bei RAG: Dokumente in eine Vektor-Datenbank, Embeddings rein, ein LLM davor, fertig. In Produktion bricht dann selten das Modell. Es bricht das Drumherum.
Was bei mir tatsächlich die Arbeit war:
→Berechtigungen, nicht Generierung. Ein Unternehmens-Chat, der jedem alles beantwortet, ist ein Daten-Leak mit schöner UI. Bei mir trägt jeder Textabschnitt seine Lese-Gruppen; die Vektorsuche filtert nach den Rechten des Fragenden — nicht berechtigte Inhalte erreichen das Modell nie. Dieselbe Frage liefert je nach Rolle eine andere Antwort. Deny by default.
→Retrieval schlägt Modell. Wird der richtige Abschnitt nicht gefunden, halluziniert auch das beste LLM — selbstbewusst. Die Antwortqualität entscheidet sich beim Suchen, nicht beim Formulieren.
→Aktualität. Dokumente ändern sich, der Index nicht — und Berechtigungen ändern sich auch. Ich ziehe Änderungen nächtlich nach und löse die Zugriffsrechte stündlich neu auf, damit ein Rechteentzug nicht erst beim nächsten Voll-Ingest greift. Aktuellere Seiten gewichte ich höher.
→Chunking. Stures Zerschneiden nach Zeichenzahl zerreisst Tabellen und Sinnzusammenhänge. Wie man schneidet — und wann man die ganze Seite statt einzelner Fragmente nachlädt — beeinflusst das Ergebnis stärker als die Modellwahl.
→Vertraulichkeit at rest. Der Textinhalt liegt verschlüsselt in der Vektor-DB (Qdrant). Wer DB-Zugriff hat, sieht Chiffretext — nicht das halbe Intranet im Klartext.
→Eine GPU, zwei Hungrige. Das Indexieren der Embeddings und das lokale Modell (über Ollama) konkurrieren um dieselbe Karte. Schwere Läufe nachts, leichte jederzeit — sonst steht der Chat, während neu indexiert wird.
RAG ist zu 80 % Daten-, Such- und Berechtigungs-Engineering und zu 20 % LLM. Das Modell ist der austauschbare Teil.
Genau deshalb passt RAG im regulierten Umfeld oft besser als ein feingetuntes Modell: Antworten kommen mit Quellenangabe, ein Mensch kann nachprüfen, woher sie stammen — und die Zugriffskontrolle bleibt da, wo sie hingehört, statt in den Gewichten eines Modells zu verschwinden.
Ein RAG-System ist nur so gut wie das, was es findet — und nur so sicher wie das, was es nicht findet.
Baut ihr AI-Features auf eure Berechtigungen — oder klebt die Governance hinterher dran?