Machine-Learning-Modelle versagen nicht auf die gleiche Weise wie traditionelle Software. Sie lösen keine Exceptions aus und stürzen nicht ab. Sie erzeugen weiterhin Vorhersagen, und diese Vorhersagen wirken weiterhin plausibel, während die zugrunde liegende Genauigkeit schleichend erodiert. Eine McKinsey-Studie über KI-Risikopraktiken stellt fest, dass die Modellüberwachung in der Produktion Folgendes nachverfolgen muss: Daten-Drift, Modellmetriken und Bias-Metriken bei den Ergebnissen als kontinuierliche Disziplin und nicht als einmaligen Validierungsschritt.
Das ist ein Steuerungsproblem, und es ist genau die Art von Problem, die Lean Six Sigma-Praktiker seit Jahrzehnten mit Qualitätsregelkarten lösen.
Daten-Drift und Konzept-Drift sind zwei neue Quellen spezieller Ursachen für Streuung
In einem Herstellungsprozess stammt die Streuung von Maschinen, Material, Methoden und Menschen. Bei einem eingesetzten Modell stammt die Streuung von den Daten, mit denen es gespeist wird.
Ein Qualitätsmanager, der eine Ursachenanalyse bei einem verschlechterten Modell durchführt, muss diese eingangsseitigen Verschiebungen (Daten-Drift) von Fällen unterscheiden, in denen sich die Beziehung zwischen den Eingaben und der korrekten Ausgabe selbst verändert hat (Konzept-Drift). Beide stellen eine Prozessstreuung dar. Keine von beiden zeigt sich in einer Code-Überprüfung.
Die Mechanik: Mittellinie, Steuergrenzen und die Western Electric Rules
A Qualitätsregelkarte , die auf eine Modellmetrik angewendet wird, funktioniert auf die gleiche Weise wie an einer Produktionslinie.
Angewendet auf die tägliche Genauigkeit oder Fehlerrate eines Modells ergreifen diese Regeln eine allmähliche Verschlechterung, die ein einfacher Genauigkeitsschwellenwert übersehen würde.
Ein klinischer Fall, der eine Untersuchung lohnt
Ein peer-reviewtes Framework aus dem Jahr 2024, das für radiologische KI-Systeme entwickelt wurde, zeigt, wie das in der Praxis aussieht. Forscher kombinierten SPC mit Machine Learning, um Folgendes zu erfassen:
Das ist ein Problem der mittleren Lauflänge (Average Run Length) – dieselbe Metrik, mit der beurteilt wird, wie schnell eine traditionelle Regelkarte einen verschobenen Prozess anzeigt.
Durch Machine Learning erweiterte Regelkarten beginnen, einfache Schwellenwerte zu ersetzen
SPC für ML-Drift bleibt ebenfalls nicht statisch.
und beurteilen die Leistung anhand der mittleren Lauflänge. Das ist wichtig für Praktiker, die zwischen einem standardmäßigen Prozessfähigkeit -Ansatz und etwas Adaptiverem wählen müssen – eine Übung, die sich nicht von den Entscheidungen zur Werkzeugauswahl unterscheidet, die in jedem Lean Six Sigma-Werkzeugauswahl -Modul. Ein neueres Arbeitspapier aus dem Jahr 2025 über rebootstrapte Steuergrenzen für Konzept-Drift führt dies noch weiter: Es baut Regelkarten speziell um Modell-Vorhersagescores anstelle von rohen Merkmalsstatistiken auf, was das Fehlalarm-Problem vermeidet, das einfache Sigma-Schwellenwerte erzeugen, wenn die Daten nicht normalverteilt sind.
Einbindung der Modellüberwachung in einen DMAIC-Steuerungsplan
Nichts davon ersetzt die Disziplin von DMAIC. Ein Modellüberwachungsprogramm verdient seinen Platz in der Control-Phase auf die gleiche Weise wie jeder stabilisierte Prozess: Definieren Sie die Metrik (Genauigkeit, Fehlerrate, Mittelwert oder Anteil eines Merkmals), legen Sie Grenzen aus einem stabilen Basismesszeitraum fest und weisen Sie die Verantwortung für die Untersuchung von Abweichungen zu. Das Databricks-Engineering-Team drückt es bei der Beschreibung von Produktions-ML-Pipelines klar aus:
– eine Governance-Beschreibung von genau dem, was ein Black Belt als Übergang von der Messung zur Steuerung bezeichnen würde.
Wer ist für die Regelkarte verantwortlich, sobald das Modell im Einsatz ist?
Jemand muss die Verantwortung für die Abweichungsuntersuchung übernehmen, und genau an dieser Verantwortlichkeitsfrage scheitern die meisten Modellüberwachungsprogramme stillschweigend. Ein Black Belt weiß bereits, wie man einen Eskalationspfad für ein Aus-dem-Ruder-Laufen-Signal bei einem bearbeiteten Teil erstellt; dieselbe Fähigkeit lässt sich auf eine Modellgenauigkeits-Regelkarte übertragen, vorausgesetzt, das Data-Science-Team dokumentiert das Baseline-Verhalten klar genug, damit es jemand außerhalb des Modellbau-Teams lesen kann. Führungssponsoring ist hier von besonderer Bedeutung, da Warnmeldungen zu Modell-Drift leicht als Rauschen abgetan werden können, bis im Betrieb eine Kredit-, Betrugs- oder klinische Entscheidung fehlschlägt. Die Verankerung dieser Verantwortlichkeit im Projektauftrag mit einem benannten Process Owner und einem dokumentierten Reaktionsschwellenwert ist Standard- DMAIC -Praxis, angewendet auf eine neuere Art von Prozess.
Quellen
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview: https://janusassociates.com/resources/nist-ai-risk-management-framework/
