Künstliche Intelligenz: KI-Suche mit RAG und GraphRAG – Ein Proof-of-Concept – Teil I
Seitdem KI-Lösungen wie GenAI, LLMs (Large Language Models) und speziell das Chatprodukt ChatGPT Anfang 2023 die Welt in Erstaunen versetzt haben, ist ein grundlegender Wandel in der Menschen-Computer-Interaktion losgetreten, den wir bisher so noch nicht erlebt haben. Man könnte sagen, ein neues Zeitalter, wie wir mit KIs auf unseren digitalen Geräte umgehen, hat begonnen: wir sprechen jetzt mit ihnen.
Und obwohl bei dieser neuen KI-Generation oft nur die neuesten Fortschritte im Rampenlicht stehen, gibt es vermehrt Situationen bei denen man als Experte oder als Laie auf die Grenzen und Nachteilen dieser Technik stößt. Für KI-Assistenten mit LLM-basiertem Chat ist das Paradebeispiel das Halluzinieren von Unwahrheiten, besonders in Fällen, wenn man solides Experten- oder Spezialwissen benötigt. An manchen Stellen gibt es sogar wage Warnung, z.B. Bei Google: “AI responses may include mistakes”, aber das ist für viele kein zufriedenstellendes Trostpflaster.
Für uns bei der GPI betrachten wir das Thema KI seit einiger Zeit aus einen strategischem Winkel und schaffen mit Artikeln wie Künstliche Intelligenz: Vom Trend zur Business-Strategie – GPI Consulting einen Beitrag für die Beratungsfront. Allgemeine Kurse zu KI gibt es bei der GPI in der Transformation Academy – GPI Consulting natürlich auch. Doch bei uns speziell im Techology Chapter geht es nicht nur um eine rein technische Beratung, denn wir sind Macher und tauchen gerne in die KI-Technologientiefen ab, um was schönes zu entdecken. Und hier in diesem Blog-Artikel debütieren wir gleich zwei Themen im Bereich KI-Suche: Das Wiederauffinden von Information per GenAI-Ansätze RAG und GraphRAG.
Die RAG-Methode
Vielleicht haben sie sich schon mal gefragt: “Wie kann man LLMs eigentlich neues Wissen und Fakten nachhaltig vermitteln?” Diese Frage haben sich KI-Wissenschaftler gestellt und sind auf die RAG (Retrieval-Augmented Generation) Methode gestoßen, um LLMs über ihrem ursprünglichen Training und Fine-Tuning hinaus “aufzuschauen”. Die Grundidee dahinter ist eine semantische Suche durchzuführen und dann einem LLM die gefunden Fakten mitzugeben, um eine bessere und konsistentere LLM-Antwort zu erzeugen. Hier ein Beispiel wie das aussehen könnte:
Dokumente oder Webseiten mit potentiell relevanten Inhalten werden durch eine semantische Suche auf Basis der LLM-Anfrage (“User Prompt”) des Benutzers gefunden.
Die Inhalte der Suchergebnisse werden dann als ad hoc Wissensquelle zusammen mit der ursprünglichen LLM-Anfrage in eine brandneue, angereicherte LLM-Anfrage hineingepackt.
Das LLM gibt seine Antwort auf Basis dieser angereicherten LLM-Anfragen dem Benutzer zurück.
RAG-Systeme, sprich KI-Chatbot-Lösungen, die RAG verwenden, sind eine neue Sorte von sog. “Information Retrieval”-Systemen, die Spezialinformationen auffinden und ausgeben können.
Das Anreichern bzw. Augmentieren im RAG-Ansatz hat bei vielen KI-Lösungsanbietern eine große Hoffnung entfacht, um die LLMs in ihrer Leistung zu stärken und mittlerweile hat sich der Ansatz bei prominenten Chatprodukten etabliert. Sowohl die “KI-Übersicht” bei der Google-Suche als auch Produkte wie Microsoft Copilot verwenden schon seit einiger Zeit RAG.
Größere Herausforderungen beim Einsatz von RAG
Obwohl die RAG-Methode so viel Hoffnung geweckt hat, schwindet diese beim genaueren Hinschauen in unterschiedlichen Fällen. Man könnte fast sagen, sie hat einen neuen Hype-Zyklus ausgelöst, der schon bald zuende geht. Hier sind die größeren Herausforderungen bei RAG:
-
Die semantische Suche, die auf Basis einer “semantischen Ähnlichkeit” von Texten arbeitet, hat ihre Grenzen, u.a. die geringe Relevanz der Suchtreffer bei großen Datenmenge, und die Überforderung bei komplexen oder abstrakteren LLM-Suchanfragen.
-
Die verstreuten Dokumente, Webseiten, Daten und Metadaten in ihrem Format, Qualität und Gesamtstruktur passend aufzubereiten ist aufwendig.
-
Die faktische Korrektheit und Aktualität der Daten ist immer ein Faktor.
-
Eine effektive Suchlösung für ein spezifisches Themengebiet benötigt mindestens eine datenspezifisches Customizing durch Experten im jeweiligen RAG-System, z.B. bei der passenden Konfiguration der Such-Engine.
Für uns bei der GPI und für unsere Kunden geht es oft darum innerhalb einer Organisation wichtige interne Informationen oder Dokumente, sprich “private data”, schnell wiederzufinden. Und eine wirklich gute Suchlösung wäre nicht nur wünschenswert, sondern auch echt kostbar!
Microsofts Durchbruch mit GraphRAG
Im Februar 2024 gab es hierbei einen ersten richtigen Durchbruch: Microsofts KI-Wissenschaftler haben den ersten Blog-Beitrag zu ihrer neuen Erfindung GraphRAG: Unlocking LLM discovery on narrative private data auf dem Microsoft Research Blog gepostet. Und mit dieser Neuheit haben sie gezeigt, wie wenigstens die Schwächen der semantischen Suche bei RAG erheblich ausgemerzt werden können.
Kurz danach hat Microsoft sogar die Software hinter GraphRAG als Open-Source Software veröffentlicht, was ein massives Interesse bei KI-interessierten Communities geweckt hat (siehe die Projektdoku Welcome – GraphRAG). Allein das GraphRAG GitHub Projekt hat aktuell (Juni 2025) mit seinen 25.800+ Stars und 2.600+ Forks eine enorm hohe Popularität erzielt.
Ein Schlüssel zum Erfolg bei GraphRAG ist ein sogenannter “Knowledge Graph”. Doch was ist das genau, und welche Vorteile bringt das gegenüber RAG?
Ein Knowledge-Graph als Schlüssel
Ein Knowledge-Graph – auch manchmal “semantisches Netzwerk” oder “Concept Map” genannt – bildet Wissen ab, das in einen netzartigem Diagramm darstellbar ist. In so einem Diagramm sind Dinge aus der Welt dargestellt und mit beschrifteten Pfeilen verknüpft. Durch diese aufgezeigten Beziehungen untereinander wird die Bedeutung der Dinge erst klar.
Bei Knowledge-Graphen spricht man häufiger von “Entitäten” bei den Diagrammknoten. Und mit Entitäten sind allgemein auch Konzepte, Orte, Ereignisse, Behauptungen, Zahlen, etc. gemeint. D.h. im Knowledge-Graphen können sowohl abstraktere Kategorien als auch konkrete Beispiele in der Welt oder in unserer Vorstellung auf einfache Weise abgebildet werden.
Wer noch mehr über Knowledge-Graphen wissen möchte, kann sich u.a. die englischen Wikipedia-Seiten Knowledge graph und Semantic network mit weitreichenderen Hintergrundinformationen anschauen.
Vorteile der GraphRAG-Suche
GraphRAG ist eine komplexere aber auch mächtige Suchlösung, die die RAG-Methode mit einem Knowledge-Graphen aus konkretem Spezialwissen vereint und somit wertvolle Vorteile erzielt:
Das Wissen in den rohen Daten wird logisch vernetzt.
Die genauen Beziehungen zwischen Entitäten wie Personen, Organisationen, Orte, Ereignisse, etc. werden aus den Daten ermittelt und ebenso von ihrer Relevanz her bewertet.
GraphRAG erzeugt den Knowledge-Graphen aus den Daten vollautomatisch mit LLM-Unterstützung.
Natürlichsprachliche Zusammenfassungen werden Entitäts- und Themenclustern zugeordnet.
GraphRAG hat drei unterschiedliche Suchalgorithmen, die u.a. die verschiedenen Entitäts- und Themenclustern auf mehreren Ebenen ausnutzen.
Das LLM erhält für seine Antworterzeugung holistisches und relevanteres Wissen als RAG-Wissensquelle.
Für Interessierte: Ein allgemein sehr anschauliches Erklärvideo gibt es hierzu auf YouTube: Knowledge Graph or Vector Database… Which is Better?
Das Proof-of-Concept bei der GPI mit GraphRAG
Im Techology Chapter der GPI haben wir uns diese ausgeklügelte Erfindung GraphRAG mit Begeisterung angeschaut, um vor allem Microsofts Software-Lösung “unter der Haube” zu verstehen. Denn Potential für die Praxis hat das Prinzip hinter GraphRAG alle Mal.
Wir haben uns dabei auch ein konkretes Ziel gesetzt: Ein Proof-of-Concept (PoC) auf der Basis von GraphRAG für eine Dokumentensuche und Informationswiedergabe von Organisationsdaten (Texte sind in deutscher Sprache) zu entwickeln.
Im Grunde wollen wir GraphRAGs Grenzen bei Fragekomplexität und Antwortgenauigkeit unter die Lupe nehmen und herausfinden wie man sie sogar verbessern kann!
Wenn man z.B. gewisse Projektinformationen in seinen rohen Daten bzw. Dokumenten hat, dann kann man GraphRAG für den Anfang einfache Fragen stellen, z.B. “Welche sind die 3 interessantesten Projekte bei uns?“ und selber die Antwort beurteilen. Hier ist ein Beispiel wie GraphRAG auf so eine Frage ungefähr reagiert, u.a. mit Quellangaben:
Anfrage (User Prompt):
Welche sind die 3 interessantesten Projekte bei GPI?
GraphRAG-Antwort (hier z.T. nur schematisch dargestellt):
### Einführung
Die Frage nach den interessantesten Projekten bei uns ist eine gute Gelegenheit, um die verschiedenen Vorhaben und Initiativen zu beleuchten, die derzeit im Gange sind. Basierend auf den Analystenberichten können wir die drei interessantesten Projekte identifizieren und ihre Merkmale und Bedeutung hervorheben.
### Die drei interessantesten Projekte
Die drei interessantesten Projekte sind:
1. (…) [Data: Reports (4, 2, 17, +more)].
2. (…) [Data: Reports (11, 15, 51, 3, 52, +more)].
3. (…) [Data: Reports (26, 38, 21, 22, 47, +more)].
### Weitere Projekte
Es gibt noch weitere interessante Projekte, wie zum Beispiel das Projekt (…) [Data: Reports (7, 38, +more)]. Ebenso ist das Projekt (…) [Data: Reports (31, 3, 52, 49, 20, +more)].
### Fazit
Insgesamt gibt es eine Vielzahl von interessanten Projekten bei uns, die unterschiedliche Aspekte und Ziele verfolgen. Die drei interessantesten Projekte, die wir identifiziert haben, sind (…).
Für dieses Ergebnis passiert bei GraphRAG im Hintergrund sehr viel, auf das wir hier in Teil I unserer Blog-Serien noch nicht eingehen. Unter anderem spielen die unterschiedlichen Suchalgorithmen und die spezifische Konfigurationen von GraphRAG eine entscheidende Rolle.
Aber als kleiner Vorgeschmack ist hier ein Ausschnitt unseres Knowledge-Graphen mit über 350 Entitäten zu sehen. Er ist aus einem unserer Initialtests mit 12 ausgewählten Dokumenten aus unseren Projekt- und Vertriebsbereichen entstanden und trägt zur Antwortgenauigkeit maßgeblich bei:
GraphRAG einsetzen und die benötigten Tech-Skills
Einfacher Einsatz
Wenn man mit GraphRAG selbst nur ein wenig experimentieren möchte – und einem die Einschränkungen, nur Textdateien als einziges Format für seine rohen Daten nutzen zu können, sowie ein notwendiges OpenAI Abo nichts ausmacht – dann sind nicht viele technische Skills notwendig:
Softwaretechnik:
- Python Anwendung per Konsole installieren
- Anpassung per YAML-Config-Datei
- API Key Nutzung
KI-Kenntnisse:
- LLM Sprachmodelle von OpenAI und ein entsprechendes Abo / ein Lizenz
KI-Technik:
- einfaches Prompt Engineering
Fortgeschrittene Szenarien
Wenn man allerdings GraphRAG untersuchen, integrieren oder erweitern möchte, dann gilt es, eine etwas höhere technologische Komplexität zu überwinden, bei der fortgeschrittenere Skills erforderlich sind:
Software-Engineering
- Python Programmiersprache (fortgeschritten)
- Cloud Engineering
Wichtige Python-Bibliotheken (Packages):
- NetworkX (Manipulation von Graphen)
- Pandas (Data Analysis and Engineering)
- LanceDB (Vektordatenbank)
KI-Techniken und Methoden:
- Prompt Tuning
- Prompt Engineering (fortgeschritten)
- Text Embedding Models u. Vektordatenbanken (für semantische Suche)
- LLM Hosting (lokal / cloud)
Dateiformate:
- Apache Parquet (für tabellarische Daten und Analytics)
- GraphML (Markup-Sprache für Graphen)
Zusatztools
- Gephi (für Visualisierung von Graphen)
Daten-Skills:
- Data Analysis
- Data Engineering
- Graph Data Analysis und entsprechende Algorithmen
Ausblick auf Teil II dieser Blog-Serie
Diese Einführung ist nur Teil I unser Blog-Serie zu RAG, GraphRAG und unserem GPI Proof-of-Concept. In Teil II werden wir detaillierter auf unseren Proof-of-Concept und die dabei gewonnenen Erkenntnisse eingehen. Haltet diesen GPI Blog also im Auge, denn es wird spannend!
AutorIn
Johannes Kasprik
Business Chapter Lead Technology
Bist du bereit, euer Unternehmen zu transformieren?
Lass uns gemeinsam eure digitale Transformation gestalten und maßgeschneiderte Lösungen für eure Herausforderungen entwickeln.
Unsere Strategie-Expert:innen analysieren deine bestehenden Prozesse und Strukturen, um eine erfolgreiche Transformation zu ermöglichen.
Mit unserer Technologieberatung triffst du die richtigen IT-Entscheidungen und implementierst neueste Technologien.
Durch unsere Analytics-Dienstleistungen optimieren wir deine Geschäftsprozesse für höhere Effizienz.
Und mit unseren agilen Methoden sorgen wir für eine flexible und effiziente Projektarbeit.
Vereinbare jetzt ein unverbindliches Erstgespräch und starte deine Reise in die Zukunft!