arrow arrow--cut calendar callback check chevron chevron--large cross cross--large download filter kununu linkedin magnifier mail marker menu minus phone play plus quote share xing

Gala ist kein Boskoop

Quoten, Inzidenzen und Testraten - Kennzahlen begleiten uns jeden Tag. Aber was macht eine gute Kennzahl in der Praxis aus? Dass man Äpfel nicht mit Birnen vergleichen sollte, ist hinlänglich bekannt. Aber Vorsicht: Auch ein Apfel ist nicht wie der andere. Am Beispiel eines aktuellen Kundenprojekts zeige ich, wie man Stolperfallen vermeidet und wieso uneinheitliche Kennzahlen dennoch ein guter Anfang auf dem Weg zu einer „data driven“ Organization sind. 

Foto von Tim Wedding
Tim Wedding

BI Consultant

Eine Entscheidung mit Folgen

Gleich zu Beginn eines Reporting&Analytics-Projektes steht jeder Auftrag vor der gleichen Herausforderung: Neben Budget und Laufzeit kommt die Frage, was eigentlich für wen dargestellt werden soll. Welche Kennzahlen sind die Richtigen? Welche Zielgruppe wird angesprochen? Welchen Benefit versprechen wir uns davon?

Wenn ich bei den Auftraggebern nachfrage, welche Kennzahlen sie in einem Dashboard erwarten, sprechen viele von homogenen Kennzahlen – also Zahlen, welche unabhängig von dem Geschäftsbereich oder der Abteilung immer gleich berechnet werden. Das Problem dabei ist selten technischer, sondern eher politischer Natur. In großen Unternehmen sind unterschiedliche Definitionen von KPIs in den einzelnen Geschäftsbereichen üblich und häufig gut begründet. Sich auf eine eindeutige Berechnung zu verständigen, ist daher ein langwieriger und aufwändiger Prozess. Die Folge: Oftmals scheitert dieser Ansatz bereits an der Einigung auf eine Definition und selbst einfache Kennwerte aus der Buchhaltung werden häufig individuell berichtet.

Die Alternative zu dem ersten Ansatz sind heterogenen Kennzahlen. Die Geschäftsbereiche behalten also bewusst ihre individuelle Definition und Berechnung der Kennzahlen bei. Nun gilt es jedoch, erste Fehler zu vermeiden. Denn heterogene KPIs sollten nie miteinander verglichen werden. Ein populäres, wenn auch negatives Beispiel während der Corona-Pandemie ist die Inzidenz* von Deutschland und Dänemark im Vergleich: Während der Pandemie wurden Bürger in Dänemark im Durchschnitt über 10-mal häufiger getestet als in Deutschland. Übertrieben dargestellt bedeutet das: Während in Dänemark pro Tag 10 von 100 Personen getestet wurden, waren es in Deutschland nur 1 von 100. Selbst bei gleicher Inzidenz ist also davon auszugehen, dass die Erkennungsrate in Dänemark tendenziell höher ist.

Obwohl also in beiden Ländern von “Inzidenz” gesprochen wird, werden dabei Gala- mit Boskoop-Äpfeln verglichen. Es mag sich richtig anfühlen, eine Entscheidung auf Grundlage einer Kennzahl zu treffen, aber genau in diesem Fehlschluss liegt der große Nachteil der heterogenen Kennzahlen. Es wird eine Genauigkeit und Vergleichbarkeit suggeriert, welche nur bedingt existiert. 

*Fallzahl pro 100.000 Einwohner

Der erste Schritt

Eine mögliche Vorgehensweise zur Lösung des Dilemmas möchte ich an einem Projekt aus der Praxis erläutern. Unser Kunde ist ein international agierender Konzern im Logistikbereich. Vorhandene Kennzahlen sind heterogen, werden also für jedes Unternehmen im Konzern individuell definiert. Regelmäßige Berichte an die Zentrale erfolgen auf Grundlage der individuellen KPIs. 

Unser Ziel ist der Aufbau eines zentralen Dashboards, welches die Qualitätskennzahlen der einzelnen Unternehmen darstellt. Das Management soll das Dashboard ohne Vorkenntnisse nutzen können, um täglich den aktuellen Status einsehen zu können. Dabei soll stets die Möglichkeit bestehen, in den lokalen, detaillierten Report zu wechseln. 

Alles in allem sollen weniger Informationen als in den lokalen Berichten enthalten sein, jedoch mehr als in einem klassisches Ampelsystem. Neben dem aktuellen Status in den typischen Signalfarben soll also durchaus erkennbar sein, wie sich die Performance in den letzten Wochen entwickelt hat und ob es sich um eine langfristige Entwicklung oder einen einzelnen Ausreißer handelt. Der erste Einstieg dafür könnte so oder ähnlich aussehen:

Dashboard: Heterogene Kennzahlen vergleichbar machen

Im ersten Schritt identifizieren wir die maßgebenden Kennzahlen. Wir konzentrieren uns zunächst auf die Auswertung der vorhandenen, heterogenen KPIs. In unserem Beispiel ist die Output Performance die wichtigste Qualitätskennzahl. Da die Kennzahl in den verschiedenen Länderorganisationen bereits vorhanden ist, kann das Projekt ungehindert starten, ohne das gesamte Berichtwesen neu zu organisieren. So können wir bereits nach wenigen Wochen oder Monaten erste Ergebnisse erzielen. Die Standardisierung der KPIs kann dann in einem späteren, zweiten Schritt erfolgen.

Um trotz heterogener Kennzahlen eine Vergleichbarkeit auf einem Dashboard herzustellen, haben wir einige Grundregeln:

  1. Verglichen wird nur Gleiches mit Gleichem. Bereits der Aufbau des Dashboards muss verhindern, dass grobe Fehlschlüsse gezogen werden – wie bei dem Vergleich der Inzidenz im Beispiel. Wer also Organisationen oder Geschäftsbereiche in Charts nebeneinander platziert, sollte sicher sein, dass deren Kennzahlen identisch sind.
  2. Natürlich sieht es spektakulär aus, wenn die Anzahl der Fehler innerhalb einer Woche um die Hälfte steigt. Wenn aber letzte Woche 25 von 100 Artikeln das Ziel nicht pünktlich erreicht haben, diese Woche hingegen 50 von 1.000, wird schnell klar, dass die Grundgesamtheit niemals ignoriert werden darf. Wir betrachten unsere Performance daher in Prozent. Möchte der Nutzer Ausreißer dennoch bewerten, stellen wir ihm zusätzliche Insights zur Verfügung.
  3. Wir vergleichen Kennwerte immer anhand ihrer Zielerreichung. Wenn jeder Bereich seine Quote anders ermittelt, kann unmöglich ein zentraler Zielwert vorgegeben werden. Einfach gesagt: Wenn der Gewinn im Unternehmen 10% betragen soll, einige Bereiche aber Werte “vor Steuer” und andere “nach Steuer” angeben, ist der Kennwert selbst nicht vergleichbar. Unsere Lösung: Wir legen individuelle Zielwerte für jeden Bereich fest und vergleichen den Zielerreichungsgrad. 

Befolgen wir diese Regeln, sind wir schon auf einem guten Weg. Informationen, welche in einfachen Ampelsystemen schlicht untergehen, werden auf einen Blick sichtbar. Zeitgleich muss niemand tagelang Exceltabellen durcharbeiten. Nichtsdestotroz gibt es Probleme, welche mit diesen einfachen Schritten nicht zu verhindern sind. Hierzu zählen bewusst niedrig verhandelte Zielwerte, schlechte Datenqualität sowie die Beeinflussung von Messwerten. An dieser Stelle sollte aber jedem klar sein, dass es sich hierbei um einen ersten Schritt von vielen handelt, um die wichtigsten Fragestellungen zu beantworten: Hat der Bereich seine eigenen Ziele verfehlt? Handelt es sich um einen Ausreißer, oder entwickeln wir uns seit Wochen in diese Richtung? Und vor allem: Entspricht die Entwicklung meinen Erwartungen?

Nur der Anfang

Um ein data driven Mindset zu erreichen, ist das Bereitstellen von Dashboards nur ein erster Schritt. Unser Ziel ist dabei klar: Der Nutzer soll genau die Daten bereitgestellt bekommen, welche er für seine Entscheidungen benötigt. Wie diese aussehen, wissen viele unserer Kunden zu Projektbeginn noch nicht eindeutig. Wir helfen ihnen dabei, nicht nur die Entscheidung an sich, sondern auch den Weg dorthin zu skizzieren. 

Ein agiles Mindset verhindert, dass wir an unnötigen Features festhalten. In jedem Sprint besprechen wir neue Entwicklungen und priorisieren das vorhandene Backlog. Da wir die Dashboards möglichst einfach aufbauen, halten wir die Hürde auch für ungeschulte Nutzer niedrig. Dadurch erhalten wir zeitnah Feedback und neue Ideen, welche wir in der Entwicklung berücksichtigen können. So entwickeln wir genau das Feature, welches den größten Mehrwert bietet.

Im Projekt konnten wir zeigen, dass Dashboards auch mit heterogenen Kennzahlen funktionieren, wenn bei Entwicklung und Design bestimmte Regeln beachtet werden. Trotzdem kann dieser Ansatz nicht auf Anhieb alle Probleme lösen. Das Beispiel sollte dabei eines verdeutlichen: Das Ziel eines Dashboards richtet sich immer nach dem Nutzer. Manager haben schlichtweg andere Anforderungen als Analysten. Deshalb sollte der Fokus nicht auf der Erstellung von möglichst allumfassenden Reportings liegen, sondern muss sich am Nutzer und seinen Fragestellungen orientieren. Denn gerne wird vergessen: Daten sollen uns bei der Entscheidungsfindung unterstützen - nicht ersetzen.