Was bedeutet Conformance Checking?
Conformance Checking vergleicht das beobachtete Verhalten eines Event Logs mit einem Sollmodell, einer Verfahrensregel oder einer zulässigen Ablaufmenge. Es zeigt, wo Ereignisse fehlen, zusätzlich auftreten, in anderer Reihenfolge erfolgen oder zeitliche Vorgaben verletzen.
Welche Referenz wird benötigt?
Die Referenz kann ein BPMN- oder Petri-Netz-Modell, eine Arbeitsanweisung, eine Freigaberegel, ein Qualitätsplan oder eine regelbasierte Beschreibung sein. Vor dem Vergleich wird geprüft, ob Modell und Daten dieselbe Systemgrenze, Granularität und Aktivitätsbedeutung verwenden.
Abweichung ist nicht automatisch Fehler
Eine Abweichung kann einen Regelverstoß, eine legitime Ausnahme, eine unvollständige Buchung oder ein veraltetes Sollmodell anzeigen. Deshalb wird sie nach Häufigkeit, Auswirkung, Kontext und Datenqualität segmentiert. Eine bloße Abweichungsquote ohne fachliche Einordnung kann falsche Prioritäten erzeugen.
Qualitätsdimensionen
| Dimension | Frage |
|---|---|
| Fitness | Wie viel beobachtetes Verhalten kann das Modell wiedergeben? |
| Präzision | Wie viel nicht beobachtetes Verhalten erlaubt das Modell zusätzlich? |
| Generalisierung | Bildet das Modell plausible, noch nicht beobachtete Fälle ab? |
| Einfachheit | Ist die Darstellung verständlich und zweckmäßig? |
Woher die vier Dimensionen stammen
Die vier Größen sind kein Hausgebrauch, sondern der Konsens der Fachgemeinschaft. Das Process Mining Handbook (2022) formuliert sie so:
- Fitness, dort auch Recall genannt: der Anteil des beobachteten Verhaltens, den das Modell zulässt.
- Präzision: der Anteil des vom Modell zugelassenen Verhaltens, der tatsächlich beobachtet wurde — sie verhindert Underfitting.
- Generalisierung: die Wahrscheinlichkeit, dass neue, noch nicht gesehene Fälle zum Modell passen — sie verhindert Overfitting.
- Einfachheit: Ockhams Rasiermesser, messbar über die Komplexität des Modells, etwa Zahl der Knoten und Kanten.
Ein Hinweis aus derselben Quelle gehört in jedes Angebot, das Konformitätszahlen verspricht: Für Fitness und Einfachheit gibt es etablierte Maße, für Präzision und Generalisierung dagegen weniger Einigkeit darüber, was sie überhaupt messen sollen. Wer eine einzelne Prozentzahl als Konformitätsgrad ausweist, verschweigt diese Unschärfe.
Hinzu kommt eine methodische Grenze: Ein Modell wird im Kontext genau des Event Logs bewertet, der beobachtet wurde. Eine Aufteilung in Trainings- und Auswertungsdaten ergibt hier keinen Sinn, weil das Modell vorgegeben ist und der ganze Log gebraucht wird.
Quellen
van der Aalst, W.; Carmona, J. (Hrsg., 2022): Process Mining Handbook. LNBIP 448, Springer, Open Access unter CC BY 4.0, DOI 10.1007/978-3-031-08848-3. Die Grundtypen des Process Mining beschreibt das Process Mining-Glossar nach dem Manifesto von 2012.
Anwendung: Process-Mining-Beratung und Process Mining in Produktion und Logistik.
Conformance Checking: vier Qualitätsmaße im Projekt richtig anwenden
Conformance Checking benötigt eine fachlich gültige Referenz und eine Einordnung, ob Abweichungen Regelverstöße, erlaubte Ausnahmen oder Datenlücken sind.
Vor der Anwendung von Conformance Checking: vier Qualitätsmaße werden Ziel, Systemgrenze und gewünschte Entscheidung festgelegt. Ebenso wichtig ist die Abgrenzung zu benachbarten Methoden und Systemen: Welche Prozesse gehören zur Betrachtung, welche Schnittstellen bleiben außerhalb und welche Kennzahlen zeigen eine Verbesserung? Diese Klärung verhindert, dass ein Begriff nur als Etikett verwendet wird oder Teiloptimierungen an anderer Stelle neue Probleme erzeugen.
Eine belastbare Bearbeitung von Conformance Checking: vier Qualitätsmaße verbindet Ist-Daten mit dokumentierten Annahmen. Datenquellen, Bezugszeitraum, Einheiten und Ausnahmen müssen nachvollziehbar sein. Anschließend werden Varianten oder Maßnahmen anhand einheitlicher Kriterien verglichen. Neben Leistung und Kosten gehören dazu je nach Aufgabe Fläche, Bestand, Ergonomie, Qualität, Umsetzbarkeit, Risiko und Erweiterbarkeit.
Das Ergebnis der Anwendung von Conformance Checking: vier Qualitätsmaße sollte eine konkrete Entscheidung oder einen überprüfbaren nächsten Schritt unterstützen. Verantwortlichkeit, Zielwert und Prüfzeitpunkt machen sichtbar, ob die erwartete Wirkung eintritt. Für die Übertragung auf eine reale Aufgabenstellung lässt sich der Begriff mit den passenden Angeboten aus Beratung, Planung, Optimierung und digitaler Bestandsaufnahme verbinden.
Conformance Checking: vier Qualitätsmaße in der Praxis: Die passenden Planungs- und Beratungsansätze bündelt unsere Leistungsübersicht.