Redaktions- und Quellenhinweis
Dieser Artikel wurde mit Künstlicher Intelligenz erstellt und redaktionell kuratiert. Die Funktions-, Sicherheits- und Verfügbarkeitsangaben beruhen überwiegend auf Microsoft-Dokumentationen mit Stand 20. Juli 2026. Sie sind deshalb als Herstellerangaben einzuordnen. Einige Funktionen rund um agentisches Retrieval, SharePoint-Berechtigungen und Microsoft-Purview-Sensitivitätsbezeichnungen sind je nach API, Portal und Region allgemein verfügbar oder weiterhin als Preview gekennzeichnet. Unabhängige Enterprise-Benchmarks für deutschsprachige Dokumentbestände liegen der Redaktion nicht vor.
⚡ In 30 Sekunden
- Microsoft liefert keinen einzelnen RAG-Schalter, sondern einen Stack aus Suche, Modellen, Agenten, Identitäten und Governance.
- Copilot Studio passt für SharePoint-nahe Low-Code-Assistenten; Azure AI Search für kontrollierte RAG-Pipelines; Foundry IQ für gemeinsame Wissensbasen mehrerer Agenten.
- Der größte Aufwand liegt bei Dokumentqualität, Berechtigungen, Evaluation und Betrieb - nicht bei der Textgenerierung.
- Entscheidend sind Kosten pro korrekter, berechtigter Antwort. Preview-Funktionen brauchen einen belastbaren Fallback.
Microsoft-RAG-Stack auf einen Blick
Produkte nach Aufgabe – Governance als durchgehende Schicht
1. Quellen
Dataverse
Azure Storage / OneLake
2. Retrieval
Foundry IQ
3. Modelle & Orchestrierung
Agent Service / Evaluation
4. Anwendungen
eigene Apps / Agenten
Kernaussage: Microsoft liefert keinen einzelnen RAG-Schalter, sondern einen integrierten Stack.
Executive Summary für Entscheider
Microsofts Stärke im Enterprise-RAG liegt in der Integration: Identitäten aus Entra, Inhalte aus SharePoint, OneLake oder Azure Storage, Retrieval über Azure AI Search, Modelle und Evaluation in Microsoft Foundry sowie Governance über Purview lassen sich innerhalb eines Cloud-Ökosystems verbinden. Für Unternehmen mit bestehendem Microsoft-Stack kann das Architektur- und Beschaffungsaufwand reduzieren.
Der Gegenpreis ist eine stärkere Plattformbindung. Zudem ist der Stack nicht automatisch einfach: Berechtigungen müssen bis auf Dokument- und Chunk-Ebene korrekt übertragen werden, Preview-Funktionen brauchen eine Exit-Strategie und die tatsächlichen Kosten verteilen sich über mehrere Dienste. Die zentrale Entscheidung lautet deshalb nicht „Microsoft oder Open Source?“, sondern: Wie viel Kontrolle, Integrationskomfort und Betriebsverantwortung benötigt der konkrete Use Case?
Was Unternehmen jetzt konkret tun sollten
- Wissensprozess begrenzen: Mit Richtlinienauskunft, Servicewissen oder technischer Dokumentation starten - nicht mit einem unternehmensweiten Chatbot.
- Einfachste Schicht wählen: Copilot Studio, Azure AI Search oder Foundry IQ nach Kontroll- und Wiederverwendungsbedarf auswählen.
- Berechtigungen zuerst testen: Für mindestens fünf Rollen erlaubte und verbotene Dokumente prüfen.
- Goldstandard aufbauen: Reale Fragen, erwartete Quellen, Referenzantworten und unzulässige Antworten dokumentieren.
- Gesamtkosten messen: Kosten pro fachlich korrekter, berechtigter Antwort statt nur Tokenpreise erfassen.
Für wen ist dieser Artikel?
Primär richtet sich der Beitrag an CIOs, IT-Leitung, Plattform-Teams und Enterprise-Architekten, die einen Microsoft-basierten RAG-Stack bewerten. Datenschutz, Informationssicherheit und Betriebsrat erhalten die relevanten Prüfpunkte zu Datenzugriff, Nachvollziehbarkeit und Rollout.
Unternehmen, die bereits Microsoft 365 und Azure einsetzen, stehen bei RAG vor einer scheinbar einfachen Frage: Warum nicht die vorhandene Microsoft-Plattform nutzen, statt eine zusätzliche Open-Source- oder SaaS-Lösung einzuführen?
Die Antwort ist nicht automatisch „ja“. Ein produktives Microsoft-RAG entsteht erst aus Dokumentenaufbereitung, Retrieval, Modellzugriff, Identitäten, Berechtigungen, Evaluation und Betrieb.
Warum Microsofts RAG-Stack jetzt relevant ist
RAG – Retrieval-Augmented Generation – verbindet ein Sprachmodell mit freigegebenen Unternehmensinformationen. Das System sucht zunächst relevante Passagen und gibt sie dem Modell als Kontext. Die Antwort kann dadurch auf aktuellen, internen Quellen beruhen und Fundstellen ausweisen.
Microsoft entwickelt diese Architektur inzwischen in zwei Richtungen weiter. Klassisches RAG bleibt als kontrollierbare Pipeline mit Azure AI Search und einem Modell-Endpunkt verfügbar. Parallel positioniert Microsoft mit Foundry IQ eine verwaltete Wissensschicht, die mehrere Quellen für Agenten bündeln und Anfragen über ein agentisches Retrieval zerlegen kann.
Das ist für Unternehmen relevant, weil RAG damit von einer einzelnen Chat-Anwendung zu einer wiederverwendbaren Wissensinfrastruktur werden kann. Mehrere Assistenten oder Agenten können auf dieselbe Wissensbasis zugreifen. Zugleich steigen die Anforderungen an Berechtigungen, Kostenkontrolle und Lebenszyklusmanagement.
Merksatz
Azure AI Search findet und ordnet Wissen. Microsoft Foundry verbindet Modelle, Evaluation und Anwendungen. Foundry IQ macht Wissensbasen für mehrere Agenten wiederverwendbar. Copilot Studio bringt sie mit weniger Entwicklungsaufwand in Geschäftsprozesse.
Welcher Microsoft-Weg passt?
Die Produktauswahl sollte vom Betriebsmodell ausgehen, nicht von der Länge der Funktionsliste. Für die meisten Vorhaben reicht zunächst eine von drei Leitentscheidungen:
- SharePoint-naher Assistent: Copilot Studio, wenn Low-Code, vorhandene Microsoft-365-Identitäten und ein begrenzter Fachprozess im Vordergrund stehen.
- Kontrollierte RAG-Anwendung: Azure AI Search plus Microsoft Foundry, wenn Index, Chunking, hybride Suche, Netzwerk und Anwendungscode gezielt steuerbar sein müssen.
- Gemeinsame Wissensbasis für mehrere Agenten: Foundry IQ, wenn mehrere Quellen und Agenten denselben berechtigungsbewussten Wissensdienst nutzen sollen.
Foundry File Search bleibt eine pragmatische Option für einen begrenzten, hochgeladenen Dokumentbestand. Für einen unternehmensweiten, mehrquelligen Wissensdienst ist es jedoch nicht die erste Wahl.
Welcher Microsoft-Weg passt?
Was soll zuerst produktiv werden?
SharePoint-naher Assistent
Schneller Low-Code-Start
Kontrollierte RAG-Anwendung
Maximale Pipeline-Kontrolle
Wissensbasis für mehrere Agenten
Wiederverwendbare Knowledge Base
Die Wege können kombiniert werden: Copilot Studio kann Azure AI Search anbinden, Foundry IQ baut auf Azure AI Search auf. Entscheidend ist, welche Schicht das Unternehmen selbst gestalten, prüfen und betreiben will.
Azure AI Search: Die Retrieval-Schicht
Azure AI Search ist der technische Kern des Microsoft-RAG-Stacks. Der Dienst speichert Suchindizes und kann Volltext-, Vektor- und hybride Abfragen ausführen. Bei hybrider Suche werden klassische Schlüsselwortsuche und semantische Vektorsuche parallel ausgeführt und die Treffer zusammengeführt.
Integrierte Vektorisierung reduziert Pipeline-Code
Mit integrierter Vektorisierung können Indexer Dokumente einlesen, in Abschnitte teilen, Embeddings erzeugen und die Ergebnisse in einen Vektorindex schreiben. Microsoft stellt dafür unter anderem Text-Splitting und layoutorientierte Verarbeitung bereit.
Das senkt den Entwicklungsaufwand, ersetzt aber keine fachliche Konfiguration. Ein Wartungshandbuch, ein Vertrag und eine tabellarische Preisliste benötigen unterschiedliche Chunking-Strategien. Werden Überschriften, Tabellenbezüge oder Dokumenthierarchien zerstört, findet auch ein gutes Embedding-Modell nicht zuverlässig die richtige Passage.
Hybrid Search ist häufig belastbarer als reine Vektorsuche
Vektorsuche findet semantisch ähnliche Inhalte. Klassische Volltextsuche ist dagegen stark bei Produktnummern, Fehlercodes, Paragraphen oder exakten Bezeichnungen. Für Unternehmensdokumente ist die Kombination oft sinnvoller als ein reiner Vektoransatz.
Der Semantic Ranker kann die Kandidaten zusätzlich neu ordnen. Das verbessert nicht automatisch jeden Use Case und erzeugt eigene Kosten. Unternehmen sollten deshalb auf einem festen Testset vergleichen: Volltext, Vektor, hybrid und hybrid mit semantischem Ranking.
Quellenangaben müssen im Index vorbereitet werden
Eine zitierfähige Antwort entsteht nicht allein durch das Modell. Der Index muss Metadaten wie Dokumenttitel, URL, Version, Seiten- oder Abschnittsreferenz enthalten. Auch Copilot Studio benötigt bei der Anbindung von Azure AI Search ein passendes URL-Feld, damit Quellen als Links ausgegeben werden können.
Microsoft Foundry und Foundry IQ: Vom RAG-Endpunkt zur Wissensschicht
Microsoft Foundry stellt Modelle, Agentenentwicklung, Evaluation und Deployment-Funktionen bereit. Azure AI Search kann darin als Index und Retrieval-Werkzeug verwendet werden. Foundry IQ setzt eine Ebene darüber: Wissensquellen werden zu einer Knowledge Base gebündelt, die mehrere Agenten oder eigene Anwendungen über einen gemeinsamen Endpunkt nutzen können.
Klassisches Retrieval oder agentisches Retrieval?
Klassisches Retrieval sendet eine Suchanfrage an einen Index und gibt die besten Treffer an das Sprachmodell weiter. Das ist vergleichsweise vorhersehbar, messbar und kostenseitig einfacher zu begrenzen.
Agentisches Retrieval kann eine komplexe Frage in mehrere Teilanfragen zerlegen, unterschiedliche Quellen auswählen, Suchen parallel ausführen und Ergebnisse zusammenführen. Das ist interessant, wenn Nutzer beispielsweise gleichzeitig nach einer Richtlinie, einem technischen Handbuch und einer aktuellen SharePoint-Information fragen.
Die zusätzliche Planungslogik erhöht aber Latenz, Tokenverbrauch und Fehlermöglichkeiten. Ein Agent kann eine Frage unpassend zerlegen oder die falsche Quelle priorisieren. Für einfache FAQ- oder Richtlinienanfragen ist agentisches Retrieval deshalb nicht automatisch die bessere Wahl.
Caveat: Verfügbarkeit ist kein einheitlicher Status
Microsoft weist darauf hin, dass einige Funktionen von Foundry IQ und agentischem Retrieval allgemein verfügbar sind, während andere weiterhin Preview-Status haben. Auch die Portalfunktionen können einen anderen Reifegrad als die REST-API besitzen. Vor einem Produktiventscheid müssen Region, API-Version, SLA, Supportstatus und Migrationspfad pro benötigter Funktion geprüft werden.
Copilot Studio: Der schnelle Weg für Microsoft-365-nahe Szenarien
Copilot Studio ist die Low-Code-Option. Fachbereichsteams können SharePoint, Dataverse, Websites oder Copilot Connectors als Wissensquellen anbinden und generative Antworten in Teams, Microsoft 365 Copilot oder eigene Kanäle bringen.
Für einen Richtlinienassistenten mit bereits sauber gepflegten SharePoint-Bibliotheken kann das der pragmatischste Start sein. Bei authentifizierten SharePoint-Quellen werden Anfragen im Namen des Nutzers ausgeführt; vorhandene Berechtigungen sollen dadurch berücksichtigt werden.
Die Grenze liegt in der technischen Kontrolle. Teams können nicht jede Retrieval-Stufe, Ranking-Logik oder Evaluationspipeline so frei gestalten wie in einer eigenen Azure-Anwendung. Zudem hängen Funktionsumfang und Kosten von Copilot-Studio-Kapazitäten, Lizenzierung und angebundenen Diensten ab.
Copilot Studio ist stark für klar begrenzte Microsoft-365-nahe Fachprozesse. Für einen zentralen Retrieval-Dienst mit vielen Anwendungen, eigenen Frontends und komplexen Datenquellen ist eine eigene Azure-Architektur meist passender.
Sicherheit und Berechtigungen: Der schwierigste Teil liegt vor dem Modell
RAG kann sensible Informationen leichter auffindbar machen. Ein zuvor verborgenes Dokument wird nicht harmlos, nur weil das Sprachmodell seine Inhalte zusammenfasst. Die wichtigste Sicherheitsfrage lautet deshalb: Welche Passagen darf dieser konkrete Nutzer abrufen?
Drei Berechtigungsmuster
Azure AI Search bietet mehrere Wege für Zugriffskontrolle auf Dokumentebene:
- Security-Filter: Nutzer- oder Gruppenkennungen werden als Metadaten in den Index geschrieben und bei jeder Anfrage als Filter übergeben. Das ist flexibel, aber die Anwendung trägt Verantwortung für korrekte Identitäten und Filter.
- Native ACL- oder RBAC-Muster: Berechtigungsinformationen aus unterstützten Quellen können in den Index übernommen und gegen Entra-Identitäten geprüft werden. Teile dieser Funktionen sind weiterhin Preview.
- Purview-Sensitivitätsbezeichnungen: Labels können bei unterstützten Quellen indexiert und bei der Abfrage berücksichtigt werden. Auch hier gelten API-, Mandanten- und Preview-Einschränkungen.
Besonders kritisch ist Chunking. Wenn ein Dokument in viele Textabschnitte zerlegt wird, müssen Berechtigungs- und Sensitivitätsmetadaten auf jeden Chunk projiziert werden. Fehlt diese Vererbung, kann eine technisch korrekte Suche trotzdem unzulässige Passagen liefern.
SharePoint-Berechtigungen sind kein Selbstläufer
Microsoft dokumentiert für den SharePoint-Indexer Einschränkungen bei externen Nutzern, bestimmten Freigabelinks, Informationsrichtlinien und Berechtigungsänderungen. Zudem werden Quelländerungen erst mit dem nächsten erfolgreichen Indexlauf sichtbar. Ein Unternehmen muss deshalb messen, wie lange entzogene Rechte im RAG-Index noch wirksam bleiben könnten.
Netzwerk und Schlüssel
Für sensible Architekturen gehören Managed Identities, rollenbasierte Zugriffssteuerung, Private Endpoints, deaktivierter öffentlicher Netzwerkzugriff und eine kontrollierte Schlüsselstrategie in das Zielbild. Customer-Managed Keys können je nach Schutzbedarf ergänzen, lösen aber keine fehlerhaften Inhaltsberechtigungen.
Sicherheitsfluss im Enterprise-RAG
Jede Stufe braucht eine eigene Berechtigungs- und Protokollierungsprüfung.
Quelle
Datenklasse
Index
Labels
Chunk
vererben
Retrieval
Top-k
Modell
minimieren
Antwort
Logging
Governance-Risiko
Ein RAG-System darf nicht mehr sehen als der angemeldete Nutzer. Dieser Grundsatz muss für Quelle, Index, Chunk, Retrieval-Ergebnis, Modellkontext und Protokollierung gelten. Preview-Funktionen zur Rechteübernahme sollten nicht ohne Gegenprüfung, Monitoring und dokumentierten Fallback in kritischen Prozessen eingesetzt werden.
Datenschutz und DACH-Perspektive
Microsoft erklärt für Azure Direct Models in Foundry, dass Prompts und Antworten nicht zum Training der Basismodelle verwendet werden. Die Datenverarbeitung richtet sich jedoch nach Deployment-Typ und gewählter Geografie. Globale oder Data-Zone-Bereitstellungen können andere Verarbeitungsorte und Betriebsmodelle haben als regionale Deployments.
Für eine DSGVO-Einordnung reicht diese Herstellerzusage nicht aus. Unternehmen müssen Zweck, Rechtsgrundlage, Datenkategorien, Aufbewahrung, Empfänger, Drittlandbezug und Betroffenenrechte für den konkreten Use Case bewerten. Bei personenbezogenen oder besonders sensiblen Daten kann eine Datenschutz-Folgenabschätzung erforderlich sein. Das ist eine organisatorische und rechtliche Prüfung, keine automatische Produkteigenschaft.
DACH-Prüffeld: Datenklassen
Konkrete Frage vor dem Pilot: Welche Dokumente dürfen indexiert, als Modellkontext verwendet und protokolliert werden?
DACH-Prüffeld: Datenregion
Konkrete Frage vor dem Pilot: Welche Region und welcher Deployment-Typ gelten für Suche, Modelle, Embeddings, Logs und Backups?
DACH-Prüffeld: Auftragsverarbeitung
Konkrete Frage vor dem Pilot: Decken Vertrag, DPA/AVV und Unterauftragnehmer den vollständigen RAG-Datenfluss ab?
DACH-Prüffeld: Berechtigungen
Konkrete Frage vor dem Pilot: Werden Entra-Gruppen, SharePoint-ACLs und Purview-Labels bis auf Chunk-Ebene korrekt durchgesetzt?
DACH-Prüffeld: Betriebsrat
Konkrete Frage vor dem Pilot: Werden Beschäftigtendaten ausgewertet oder Leistung, Verhalten und Nutzung protokolliert?
DACH-Prüffeld: EU AI Act
Konkrete Frage vor dem Pilot: Welche Rolle hat das Unternehmen, welcher Risikoklasse entspricht der Use Case und wie wird AI Literacy nachgewiesen?
DACH-Prüffeld: Nachvollziehbarkeit
Konkrete Frage vor dem Pilot: Sind Quellen, Modellversion, Indexstand, Promptversion und Freigaben für kritische Antworten rekonstruierbar?
Der AI-Fabrik-Lernpfad Datenschutz & KI-Recht vertieft diese Prüffelder. Eine rechtliche Einzelfallprüfung kann der Artikel nicht ersetzen.
Kosten: Microsoft-RAG wird über mehrere Zähler abgerechnet
Eine einzelne Preiszahl wäre irreführend. Suche, Indexierung, Embeddings, Ranking, agentisches Retrieval, Modell-Inferenz, Copilot-Kapazität sowie Betrieb und Governance werden über unterschiedliche Zähler abgerechnet.
Kostenstack für Microsoft Enterprise RAG
Nicht Tokenpreise isoliert betrachten, sondern den vollständigen Antwortpfad.
Im Dedicated-Modell von Azure AI Search steigt der Preis mit zusätzlichen Replikaten und Partitionen linear über die Search Units. Für Hochverfügbarkeit sind laut Microsoft mehrere Replikate erforderlich. Der aktuell angebotene Serverless-Ansatz kann für schwankende Last interessant sein, bietet in der Preview jedoch keinen SLA und unterstützt nicht alle Netzwerkfunktionen.
Für den Pilot sollte deshalb nicht „Kosten pro 1.000 Token“, sondern „Kosten pro fachlich korrekter, berechtigter Antwort“ die Steuerungsgröße sein. Eine günstige Modellantwort ist wertlos, wenn die Suche die falsche Quelle liefert oder ein Fachmitarbeiter jeden Treffer manuell nacharbeiten muss.
Qualität messen: Quellenanzeige ist noch kein Qualitätsnachweis
Microsoft Foundry stellt Evaluatoren für Retrieval, Dokument-Retrieval, Groundedness, Relevanz und Antwortvollständigkeit bereit. Das ist eine brauchbare Grundlage, ersetzt aber keinen unternehmenseigenen Goldstandard.
Ein belastbarer Test trennt drei Fehlerklassen:
- Retrieval-Fehler: Die richtige Passage wurde nicht gefunden.
- Generierungsfehler: Die Passage war vorhanden, wurde aber falsch interpretiert oder ergänzt.
- Governance-Fehler: Eine fachlich passende Passage hätte für diesen Nutzer nicht sichtbar sein dürfen.
LLM-basierte Evaluatoren sind selbst probabilistisch. Für kritische Anwendungsfälle brauchen Unternehmen zusätzlich fachlich geprüfte Referenzfragen, erwartete Quellen und klare Abbruchkriterien.
Empfohlene Pilotmetriken
Messgröße: Trefferquote der erwarteten Quelle in Top-k
Entscheidungsnutzen: Prüft, ob Retrieval und Ranking die richtige Evidenz finden
Messgröße: Quellenpräzision
Entscheidungsnutzen: Zeigt, wie viele ausgegebene Fundstellen die Antwort tatsächlich stützen
Messgröße: Groundedness
Entscheidungsnutzen: Prüft, ob die Antwort im bereitgestellten Kontext verankert bleibt
Messgröße: Antwortvollständigkeit
Entscheidungsnutzen: Misst, ob wichtige Aspekte der Referenzantwort fehlen
Messgröße: Berechtigungsverstöße
Entscheidungsnutzen: Muss für den Produktivstart bei null liegen
Messgröße: P95-Latenz
Entscheidungsnutzen: Zeigt, ob die Architektur im Arbeitsprozess akzeptabel reagiert
Messgröße: Kosten pro akzeptierter Antwort
Entscheidungsnutzen: Verbindet technische Qualität mit Wirtschaftlichkeit
Praxisbeispiel: Servicewissen beim DACH-Maschinenbauer
Ein Maschinenbauer mit 1.200 Mitarbeitenden möchte Servicetechnikern Antworten aus Wartungshandbüchern, Fehlercode-Listen, Sicherheitsanweisungen und freigegebenen Servicebulletins liefern. Die Dokumente liegen in SharePoint und Azure Storage, teilweise auf Deutsch und Englisch.
Phase 1: Copilot Studio für den begrenzten SharePoint-Bestand
Das Unternehmen startet mit freigegebenen Handbüchern einer Produktlinie. Copilot Studio greift auf SharePoint zu, Nutzer werden über Microsoft authentifiziert und Antworten zeigen Quellen. Der Pilot klärt schnell, ob Fragen, Dokumentqualität und Nutzerführung tragfähig sind.
Phase 2: Azure AI Search für kontrolliertes Retrieval
Für Fehlercodes, Tabellen und mehrsprachige Handbücher reicht die Standardkonfiguration nicht. Das Plattform-Team baut deshalb einen eigenen Azure-AI-Search-Index, testet hybride Suche, passt Chunking und Metadaten an und bindet ein Foundry-Modell für die Antwortgenerierung an.
Phase 3: Foundry IQ für mehrere Agenten
Später sollen Serviceportal, interner Assistent und Ersatzteil-Agent dieselbe Wissensbasis verwenden. Foundry IQ wird erst dann geprüft, wenn Berechtigungssynchronisation, Preview-Status und zusätzliche Retrieval-Kosten belastbar bewertet sind.
Der entscheidende Punkt ist die Reihenfolge: Das Unternehmen beginnt mit dem Wissensproblem, nicht mit der maximalen Plattformarchitektur.
Ein 90-Tage-Plan für den Microsoft-RAG-Pilot
Tage 1 bis 15: Scope und Governance
- Einen Fachbereich, eine Nutzergruppe und einen Dokumentbestand festlegen.
- Datenklassen, verbotene Quellen und verantwortliche Rollen definieren.
- 100 bis 150 reale Fragen sowie erwartete Quellen sammeln.
Tage 16 bis 35: Architektur und Berechtigungen
- Copilot Studio, Azure AI Search oder Foundry IQ anhand des Kontrollbedarfs auswählen.
- Mindestens fünf Rollenprofile mit erlaubten und verbotenen Dokumenten testen.
- Region, Netzwerk, Identitäten, Logging und Löschkonzept dokumentieren.
Tage 36 bis 60: Retrieval und Evaluation
- Volltext-, Vektor- und hybride Suche vergleichen.
- Chunking, Metadaten und Quellenreferenzen optimieren.
- Groundedness, Vollständigkeit, Latenz und Kosten auf dem Goldstandard messen.
Tage 61 bis 90: Begrenzter Fachbereichsbetrieb
- Pilot mit klarer Nutzergruppe und sichtbarem Feedbackkanal starten.
- Fehler nach Retrieval, Generierung und Berechtigung klassifizieren.
- Produktivfreigabe nur bei erfüllten Qualitäts-, Sicherheits- und Kostenkriterien erteilen.
90-Tage-Plan für den Microsoft-RAG-Pilot
Vier Phasen mit klaren Freigabekriterien
Tag 1–15: Scope & Governance
Tag 16–35: Architektur & Rechte
Tag 36–60: Retrieval & Test
Tag 61–90: Begrenzter Betrieb
Kritische Einordnung: Integration ist Stärke und Abhängigkeit zugleich
Microsofts RAG-Stack ist besonders attraktiv, wenn Entra, SharePoint, Azure, Purview und Power Platform bereits strategische Kernsysteme sind. Identitäten, Datenquellen, Anwendungen und Governance können dann näher zusammenrücken als bei einem heterogenen Toolmix.
Diese Integration erhöht jedoch den Wechselaufwand. Indizes, Skillsets, Entra-Rollen, Purview-Policies, Foundry-Projekte und Copilot-Studio-Agenten sind nicht ohne Weiteres auf einen anderen Anbieter übertragbar. Auch Kostenoptimierung wird schwieriger, wenn mehrere Microsoft-Dienste gemeinsam skaliert werden.
Ein bewusster Microsoft-Stack kann sinnvoller sein als fünf lose Einzelprodukte. Er sollte aber als Plattformentscheidung behandelt werden – mit Architekturprinzipien, Exportstrategie, Kostenbeobachtung und klarer Trennung zwischen allgemein verfügbaren und vorläufigen Funktionen.
FAQ
Ist Azure AI Search ein vollständiges RAG-System?
Nein. Azure AI Search übernimmt Indexierung und Retrieval. Für eine vollständige Lösung werden zusätzlich mindestens ein Modell, Anwendungslogik, Identitäten, Benutzeroberfläche, Evaluation und Monitoring benötigt.
Was ist der Unterschied zwischen Azure AI Search und Foundry IQ?
Azure AI Search ist die zugrunde liegende Such- und Retrieval-Infrastruktur. Foundry IQ bündelt darauf Wissensquellen zu Knowledge Bases, die von mehreren Agenten oder Anwendungen genutzt werden können.
Wann reicht Copilot Studio aus?
Wenn ein klar begrenzter Assistent mit SharePoint-, Dataverse- oder anderen unterstützten Wissensquellen benötigt wird und Low-Code sowie Microsoft-365-Integration wichtiger sind als vollständige Kontrolle der Retrieval-Pipeline.
Verhindert Microsoft-RAG Halluzinationen?
Nein. RAG kann Antworten besser auf interne Quellen stützen, aber irrelevante Treffer, unvollständige Quellen und Modellfehler bleiben möglich. Quellenanzeige und Evaluation sind deshalb Pflicht.
Können Unternehmensdaten für das Modelltraining verwendet werden?
Microsoft erklärt für Azure Direct Models in Foundry, dass Prompts und Antworten nicht zum Training der Basismodelle verwendet werden. Unternehmen müssen dennoch Deployment-Typ, Geografie, Protokollierung, Missbrauchsüberwachung und Vertragsbedingungen für den konkreten Dienst prüfen.
Ist der Microsoft-Stack DSGVO-konform?
Kein Produkt ist pauschal DSGVO-konform. Die Bewertung hängt von Zweck, Daten, Rechtsgrundlage, Region, Vertrag, Berechtigungen, Aufbewahrung und organisatorischen Maßnahmen des konkreten Einsatzes ab.
Fazit: Microsoft-RAG ist eine Architekturentscheidung
Microsoft bietet 2026 einen weitgehend durchgängigen RAG-Stack: Copilot Studio für den schnellen Fachbereichseinstieg, Azure AI Search für kontrolliertes Retrieval, Microsoft Foundry für Modelle und Evaluation sowie Foundry IQ für wiederverwendbare Agenten-Wissensbasen.
Der Nutzen entsteht nicht durch die Anzahl der Microsoft-Bausteine. Er entsteht, wenn ein begrenzter Wissensprozess nachweisbar bessere Antworten liefert, Berechtigungen zuverlässig einhält und wirtschaftlich betrieben werden kann.
Der nächste sinnvolle Schritt ist deshalb ein Pilot-Canvas mit sieben Feldern: Use Case, Nutzergruppe, erlaubte Daten, erwartete Quellen, Qualitätsmetriken, Verantwortliche und Abbruchkriterien. Erst danach sollte entschieden werden, welcher Microsoft-Weg wirklich passt.
Nächster Schritt: Den Microsoft-RAG-Pfad festlegen
Beginnen Sie mit einer Entscheidung zwischen drei Betriebsmodellen: Low-Code-Assistent, kontrollierte RAG-Anwendung oder gemeinsame Agenten-Wissensbasis. Testen Sie anschließend Qualität und Berechtigungen mit denselben realen Fragen – nicht mit Produktdemos.
Weiterführende Artikel auf AI-Fabrik
- Microsoft Harrier OSS v1: Neue Embedding-Modelle für Enterprise-RAG
- Privacy Guardrails: Wie KI-Systeme Datenschutz automatisch durchsetzen
- AI Skills & Technologies Map: Ein Reifegradmodell für KI-Kompetenzen im Unternehmen
- Generative AI, Agentic AI und AI Agents: Der Unterschied einfach erklärt
Quellen
- Microsoft Learn: Retrieval-Augmented Generation in Azure AI Search, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: Retrieval-Augmented Generation und Indizes in Microsoft Foundry, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: Was ist Foundry IQ?, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: Foundry IQ FAQ, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: Hybrid Search in Azure AI Search, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: Integrierte Vektorisierung in Azure AI Search, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: Dokumentbasierte Zugriffskontrolle in Azure AI Search, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: SharePoint-Berechtigungen mit Azure AI Search indexieren, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: Purview-Sensitivitätsbezeichnungen mit Azure AI Search indexieren, aktualisiert am 8. Juli 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: RAG-Evaluatoren in Microsoft Foundry, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: Preismodell und Service-Tarife für Azure AI Search, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: Daten, Datenschutz und Sicherheit für Azure Direct Models in Microsoft Foundry, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: SharePoint als Wissensquelle in Copilot Studio, aktualisiert 2026, abgerufen am 20. Juli 2026.
- Microsoft Learn: Azure AI Search als Wissensquelle in Copilot Studio, abgerufen am 20. Juli 2026.
- EUR-Lex: Verordnung (EU) 2024/1689 – EU AI Act, insbesondere Artikel 4, abgerufen am 20. Juli 2026.
