Erklärt

Unternehmenswissen mit KI durchsuchen: was funktioniert und was nicht

UNID AI Redaktion ·

Unternehmenswissen lässt sich mit KI verlässlich durchsuchen, wenn die KI ihre Antworten aus den eigenen Dokumenten des Unternehmens holt und jede Aussage mit Datei und Seite belegt. Was nicht funktioniert, ist ein allgemeines Sprachmodell nach internem Wissen zu fragen oder ein ganzes Archiv ungeprüft in ein Chatfenster zu laden.

Dieser Beitrag erklärt, welche Ansätze es gibt, wofür sie taugen und woran Sie eine belastbare Lösung erkennen.

Warum reicht ein allgemeiner KI-Assistent nicht?

Ein Sprachmodell wie ChatGPT oder Claude wurde mit öffentlich verfügbaren Texten trainiert. Ihre Gutachten, Verträge, Angebote und Protokolle waren nicht darunter. Fragt man das Modell trotzdem nach einem internen Projekt, hat es zwei Möglichkeiten: Es sagt, dass es die Antwort nicht kennt, oder es erzeugt eine plausibel klingende Antwort, die nicht stimmt. Das zweite nennt man eine Halluzination.

Für Unternehmenswissen ist das ein grundsätzliches Problem. In einem Ingenieurbüro, einer Kanzlei oder einer Behörde zählt nicht, ob eine Antwort plausibel klingt, sondern ob sie in einem bestimmten Dokument steht. Ein KI-Assistent muss also mit dem Archiv verbunden werden, und er muss zeigen, woher seine Aussagen stammen.

Wie funktioniert die Suche mit Quellenangabe?

Das etablierte Verfahren dafür heißt Retrieval-Augmented Generation, kurz RAG. Der Begriff geht auf eine Forschungsarbeit von Lewis et al. aus dem Jahr 2020 zurück. Die Idee: Das Sprachmodell antwortet nicht aus seinem Gedächtnis, sondern auf Basis von Textstellen, die eine Suche vorher aus einer Dokumentensammlung abgerufen hat.

In der Praxis läuft das in fünf Schritten ab:

  1. Laden und lesbar machen. Die Dokumente werden aus dem Archiv eingelesen. Scans werden per Texterkennung (OCR) in Text umgewandelt.
  2. Zerlegen. Jedes Dokument wird in kurze Abschnitte geteilt. Zu jedem Abschnitt wird gespeichert, aus welcher Datei und von welcher Seite er stammt.
  3. Indexieren. Für jeden Abschnitt werden zwei Suchwege aufgebaut: ein klassischer Wortindex und ein Embedding, also eine Zahlendarstellung der Bedeutung. Die Kombination heißt hybride Suche. Sie findet sowohl exakte Begriffe wie Aktenzeichen und Normen als auch inhaltlich ähnliche Formulierungen.
  4. Abrufen. Zu einer Frage sucht das System die passendsten Abschnitte heraus.
  5. Antworten mit Beleg. Das Sprachmodell formuliert die Antwort aus diesen Abschnitten und verweist bei jeder Aussage auf die Fundstelle.

Wichtig ist dabei: Das Sprachmodell wird nicht mit Ihren Dokumenten trainiert. Es bekommt bei jeder Frage nur die gefundenen Textstellen. Ein neues Dokument ist durchsuchbar, sobald es indexiert ist.

Welche Ansätze funktionieren, und welche nicht?

Unternehmen probieren meist mehrere Wege aus, bevor sie bei einer Lösung bleiben. Die folgende Übersicht fasst zusammen, wofür die gängigen Ansätze geeignet sind.

Ansatz Funktioniert gut für Grenzen
Klassische Volltextsuche (z. B. im Dateisystem oder DMS) Exakte Begriffe, Aktenzeichen, Dateinamen Findet keine Umschreibungen, liefert Trefferlisten statt Antworten
Rein semantische Suche (nur Embeddings) Inhaltlich ähnliche Passagen, unscharfe Fragen Übersieht oft exakte Bezeichnungen wie Normnummern oder Projektkürzel
Hybride Suche mit RAG und Quellenangabe Konkrete Fachfragen über ein ganzes Archiv, mit überprüfbarer Antwort Braucht saubere Aufbereitung (OCR, Zerlegung, Metadaten) und Pflege des Index
Alle Dokumente in ein langes Kontextfenster laden Einzelne oder wenige Dokumente Begrenzte Menge; Modelle nutzen Informationen in der Mitte langer Texte nachweislich schlechter (Liu et al., 2023)
Sprachmodell mit den eigenen Dokumenten nachtrainieren (Fine-Tuning) Stil, Fachsprache, Formate Ungeeignet, um Fakten zuverlässig abzurufen; keine Quellenangabe; jede Änderung erfordert neues Training

Für die Frage „Was steht in unseren Unterlagen zu X?“ ist die hybride Suche mit RAG und Quellenangabe in den meisten Fällen der passende Ansatz. Fine-Tuning und lange Kontextfenster haben ihren Platz, lösen aber dieses Problem nicht.

Woran erkennen Sie eine verlässliche Antwort?

Eine verlässliche Antwort lässt sich in wenigen Sekunden überprüfen. Dafür braucht es drei Dinge.

Erstens eine präzise Fundstelle. Ein Verweis auf „das Projekthandbuch“ hilft wenig. Eine Fundstelle besteht aus Datei und Seite, idealerweise mit der zitierten Passage, die sich im Original öffnen lässt.

Zweitens eine Prüfung extrahierter Werte. Wenn die KI aus Dokumenten Daten herausliest, etwa Fristen, Beträge oder Auftraggeber, darf ein Wert nicht einfach übernommen werden. In UNID AI Second Brain wird ein extrahierter Wert nur gespeichert, wenn er mit einem wörtlichen Zitat belegt ist und dieses Zitat auf der angegebenen Seite tatsächlich gefunden wird. Ist das nicht der Fall, kommt der Wert auf eine Prüfliste für einen Menschen.

Drittens ein ehrliches „nicht gefunden“. Ein gutes System sagt, wenn das Archiv zu einer Frage nichts enthält, statt eine Antwort zu konstruieren.

Wo bleiben die Dokumente?

Bei der Suche mit KI stellt sich immer die Frage, welche Daten wohin gelangen. Die Antwort hängt von der Architektur ab, und sie sollte vor dem Start schriftlich feststehen.

Bei UNID AI Second Brain bleiben Archiv, Suchindex und Datensätze auf einem kontrollierten Server. Das Einlesen, die Texterkennung und die Berechnung der Embeddings laufen dort. An den KI-Assistenten gehen nur die Textstellen, die für eine konkrete Antwort nötig sind. Das ist weniger als bei einem vollständigen Upload, aber es bedeutet auch: Diese Textstellen werden vom Anbieter des Sprachmodells verarbeitet. Für personenbezogene Daten braucht es deshalb eine Rechtsgrundlage und einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO. Details dazu finden Sie auf unserer Seite Sicherheit und Datenschutz.

Die Anbindung an den Assistenten erfolgt bei Second Brain über das Model Context Protocol (MCP). Damit erscheint das Archiv als Konnektor in dem KI-Assistenten, den Ihre Mitarbeiterinnen und Mitarbeiter bereits verwenden. Wie das technisch funktioniert, erklärt unser Beitrag Was ist ein MCP-Server?.

Welche Grenzen bleiben?

Auch eine gut gebaute Suche hat Grenzen. Sie zu kennen, schützt vor falschen Erwartungen.

  • Schlechte Vorlagen: Handschrift, verblasste Kopien und komplexe Tabellen in Scans werden von der Texterkennung fehlerhaft erfasst. Was nicht lesbar ist, kann nicht gefunden werden.
  • Widersprüchliche Versionen: Liegen fünf Fassungen eines Vertrags im Archiv, findet die Suche alle fünf. Welche gilt, muss aus Metadaten oder Ablagestruktur hervorgehen.
  • Zugriffsrechte: Wer im Dateisystem ein Dokument nicht sehen darf, darf es auch in der KI-Suche nicht sehen. Das muss im System abgebildet sein.
  • Unscharfe Fragen: „Was wissen wir über Brandschutz?“ liefert viele Treffer. Konkrete Fragen liefern bessere Antworten.
  • Fachliche Bewertung: Die KI findet und fasst zusammen. Die fachliche Entscheidung trifft weiterhin ein Mensch.

Wie beginnen Sie am besten?

Ein kontrollierter Start ist aussagekräftiger als eine große Einführung. Bewährt hat sich folgendes Vorgehen:

  1. Wählen Sie einen abgegrenzten Archivbereich, zum Beispiel abgeschlossene Projekte eines Fachbereichs.
  2. Sammeln Sie echte Fragen, die Mitarbeiter heute per E-Mail oder auf dem Gang stellen.
  3. Legen Sie fest, wer die Antworten gegen die Originaldokumente prüft.
  4. Prüfen Sie jede Antwort auf drei Punkte: Stimmt die Aussage, stimmt die Fundstelle, fehlt etwas Wesentliches?
  5. Entscheiden Sie erst danach über Ausweitung, Rechte und Betrieb.

Wie UNID AI Second Brain diese Schritte umsetzt, beschreibt die Produktseite zu Second Brain. Begriffe wie RAG, Embedding und hybride Suche erklärt unser Glossar. Wenn Sie einen Pilot mit Ihrem eigenen Archiv besprechen möchten, nehmen Sie Kontakt mit uns auf.

Quellen

  1. Lewis et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv)
  2. Liu et al. (2023): Lost in the Middle – How Language Models Use Long Contexts (arXiv)
  3. Model Context Protocol – Specification
  4. Verordnung (EU) 2016/679 (DSGVO) – EUR-Lex

FAQ

Häufige Fragen

Kann ich nicht einfach alle Dokumente in einen KI-Chat hochladen?

Für einzelne Dokumente funktioniert das. Bei einem ganzen Archiv stößt man an Grenzen: Das Kontextfenster ist begrenzt, Modelle übersehen Informationen in langen Texten, Zugriffsrechte werden nicht berücksichtigt, und die Dokumente landen vollständig beim Anbieter des Chats. Ein Suchindex mit gezieltem Abruf ist für Archive die robustere Lösung.

Muss das Sprachmodell mit unseren Dokumenten trainiert werden?

Nein. Bei RAG bleibt das Sprachmodell unverändert. Es bekommt zu jeder Frage nur die gefundenen Textstellen. Neue Dokumente sind nach der Indexierung sofort durchsuchbar, ohne Training.

Funktioniert das auch mit eingescannten Dokumenten?

Ja, wenn die Scans vorher per Texterkennung (OCR) lesbar gemacht werden. Die Qualität der Antworten hängt dann von der Qualität der Scans ab. Handschrift und schlecht lesbare Kopien bleiben eine Schwachstelle.

Sehen Sie es mit Ihren eigenen Unterlagen.

In einem 30-minütigen Gespräch zeigen wir die Produkte live und klären, welcher Anwendungsfall bei Ihnen zuerst Sinn ergibt. Unverbindlich, auf Deutsch oder Englisch, in Wien oder online.

UNID AI · Leonard-Bernstein-Straße 10 · 1220 Wien · +43 660 476 30 89