Copilot Analytics misst den Copilot-Nutzen nur mit Einschränkungen

In vielen Tenants, die ich betreue, wird über den tatsächlichen Mehrwert von Microsoft 365 Copilot längst nicht mehr nur strategisch gesprochen. Es geht um handfeste Budget- und Adoptionsfragen. Mit Copilot Analytics im Bereich Viva Insights gibt es inzwischen offizielle Metriken, mit denen sich die Nutzung und die viel zitierte „Stundenersparnis“ im Unternehmen zumindest ansatzweise belegen oder kritisch prüfen lassen. Offen bleibt, wie belastbar diese Zahlen sind, wie man an sie herankommt, was Betriebsräte zu sehen bekommen und worauf man als Admin unbedingt achten sollte.

Das Copilot Dashboard zeigt berechtigten Rollen nur aggregierte Werte

Sobald in einer Organisation Copilot-Lizenzen zugewiesen sind, erscheint im Viva-Insights-Portal ein neuer Menüpunkt, das sogenannte Copilot Dashboard. Als Copilot-Admin bekommt man darauf nicht automatisch Zugriff. Dafür braucht es eigene Rollen oder Berechtigungen in den Viva-Insights-Einstellungen, und genau diese Trennung sorgt in der Praxis immer wieder für Verwirrung. Das Dashboard enthält aggregierte Nutzungszahlen: die Zahl der aktiven Copilot-Nutzer, die Verteilung auf die einzelnen Apps wie Word, Outlook oder Teams, die Entwicklung im Zeitverlauf und vor allem die von Copilot geschätzten „assisted hours“. Gemeint sind Stunden, die durch die KI-Unterstützung angeblich eingespart wurden. Welche Metriken es gibt und wie man den Zugriff erhält, beschreibt die Microsoft-Dokumentation zum Copilot Dashboard.

Einzelbenutzerdaten tauchen im Dashboard nicht auf. Es zeigt ausschließlich aggregierte Werte, in der Regel erst ab einer Gruppengröße von mindestens 10 Personen. Das folgt den üblichen Datenschutzvorgaben in Viva Insights und verhindert, dass neugierige Vorgesetzte oder Admins die Copilot-Aktivitäten einzelner Personen auslesen. Wer mit Betriebsräten zusammenarbeitet, weiß, dass eine Einführung ohne diese Schwelle kaum vorstellbar wäre. Für kleinere Teams hat das allerdings zur Folge, dass das Dashboard oft schlicht leer bleibt.

Die assisted hours sind eine Schätzung und kein gemessener Wert

Am häufigsten entzündet sich die Diskussion an der Kennzahl „assisted hours“, also an der Frage, wie viele Arbeitsstunden Copilot angeblich eingespart hat. Microsoft stützt die Berechnung auf eigene Forschung zu den Zeitgewinnen bei typischen Copilot-Interaktionen. Ob das auch für komplexe Arbeitsabläufe gilt oder für deutsche Unternehmen mit ihrer ganz eigenen Meetingkultur, weiß niemand so genau. In meinen Projekten erlebe ich oft, dass das Management die Zahl bereitwillig in ROI-Rechnungen übernimmt. Die Fachbereiche halten zu Recht dagegen und bezweifeln, dass eine automatisch erzeugte Zusammenfassung tatsächlich eine Stunde spart. Wer regelmäßig mit Copilot arbeitet, kennt das: Viele Vorschläge müssen nachbearbeitet oder von einem Menschen geprüft werden.

Die Zahl der aktiven Nutzer ist deutlich greifbarer. Sie gibt an, wer Copilot in den unterstützten Apps tatsächlich verwendet hat. Ein Abgleich mit dem Copilot-Nutzungsbericht im Microsoft 365 Admin Center lohnt sich, denn dort lassen sich die Daten aus Admin-Sicht oft noch flexibler filtern. Richtig aufschlussreich wird es, wenn man beide Quellen zusammenführt und sieht, wer eine Lizenz hat, wer Copilot wirklich nutzt und wie sich die Adoption über die Zeit verändert. Tipps und typische Stolperfallen dazu habe ich in den Beiträgen zum Messen der Copilot-Nutzung und Verteilen der Lizenzen sowie zum Prüfen und Neuverteilen von Copilot-Lizenzen zusammengestellt.

Praxistipp: Die Metrik „assisted hours“ sollte man nie für sich allein betrachten. Vielen Führungskräften ist nicht bewusst, dass es sich um grobe Schätzungen handelt. Ich rate grundsätzlich dazu, im Dashboard auf die Definitionen zu verlinken und die Kennzahl als Tendenz zu vermitteln und nicht als exakte Zeitersparnis pro Nutzer.

Viva Insights Advanced Reporting erlaubt feinere Copilot-Auswertungen

Mit einer Viva-Insights-Lizenz steht das erweiterte Analytics-Modul zur Verfügung. Darin lässt sich die Copilot-Nutzung genauer aufschlüsseln, etwa nach Organisationseinheit, Rolle oder weiteren Attributen. Wie detailliert die Auswertungen ausfallen dürfen, solange die Mindestgruppengrößen eingehalten werden, erklärt die zugehörige Dokumentation. IT, HR oder Betriebsrat können damit Trends verfolgen, ohne einzelne Mitarbeitende zu identifizieren. In kleineren Organisationseinheiten werden aus Datenschutzgründen allerdings häufig viele Werte ausgeblendet. Dann hilft es manchmal, mehrere Teams zusammenzufassen oder auf Bereichsebene auszuwerten.

Gerade in größeren Unternehmen mit verschachtelten Betriebsratsstrukturen muss man vorab klären, welche Daten das Analytics-Modul liefert und ob die Gruppenbildung den Datenschutz ausreichend wahrt. Oft braucht es zusätzliche Betriebsvereinbarungen, damit die Insights-Daten überhaupt genutzt werden dürfen. Ergänzt man die Analytics-Daten um klassische Nutzerbefragungen, etwa zur wahrgenommenen Qualität von Copilot oder zur Zufriedenheit, lassen sich die Zahlen aus den Dashboards wesentlich besser einordnen.

Ein Diagramm zeigt das Zusammenspiel von Copilot Analytics und Datenschutz

Die folgende Mermaid-Grafik bildet den typischen Weg der Copilot-Nutzungsdaten bis ins Dashboard ab, samt Datenschutzhürden und der Rolle des Admins:

flowchart TD
    CopilotNutzung["Copilot-Nutzung in Apps"] --> InsightsErfassung["Viva Insights Datenerfassung"]
    InsightsErfassung -->|"min. Gruppengröße"| Aggregation["Aggregation & Datenschutz"]
    Aggregation --> Dashboard["Copilot Dashboard"]
    Dashboard --> Admin["Admin/Rollen-basierter Zugriff"]
    Dashboard --> Betriebsrat["Betriebsrat prüft Datenschutz"]

Abbildung: Typischer Datenfluss und Datenschutz bei Copilot Analytics.

Copilot Analytics liefert Richtgrößen und keinen Produktivitätsnachweis

Auch mit den neuen Dashboards lässt sich der Nutzen von Copilot nur annähernd messen. Die „assisted hours“ taugen als Richtgröße, belegen aber keine Produktivitätssteigerung. Aussagekraft gewinnen sie erst im Zusammenhang mit Lizenz- und Nutzungsberichten, mit Rückmeldungen der Nutzer und, wo möglich, mit echten Business-KPIs. Besonders kritisch sehe ich, wie schnell aus Schätzungen harte Argumente in Budgetrunden werden. Wer Copilot Analytics sinnvoll nutzen will, muss genau wissen, wo die Zahlen an ihre Grenzen stoßen, das offen mit Management und Betriebsrat besprechen und am besten ein begleitendes Adoptionsprogramm aufsetzen, das Kennzahlen und Nutzerfeedback zusammenführt. Man bewegt sich dabei ständig zwischen technischen Möglichkeiten, den Erwartungen im Haus und den Anforderungen des Datenschutzes.