Machine-Learning-Modelle fallen nicht auf dieselbe Weise aus wie herkömmliche Software. Sie erzeugen keine Exceptions und stürzen nicht ab. Sie liefern weiterhin Vorhersagen, und diese Vorhersagen wirken weiterhin plausibel, während die zugrundeliegende Genauigkeit schleichend nachlässt. Eine McKinsey-Studie zu KI-Risikomanagement betont, dass die Modellüberwachung in der Produktion die Verfolgung von Data Drift, Modellmetriken und Bias-Metriken in den Ergebnissen als kontinuierliche Disziplin erfordert und nicht als einmaligen Validierungsschritt.
Das ist ein Regelungsproblem – und genau die Art von Problem, die Lean Six Sigma-Practitioner seit Jahrzehnten mit Regelkarten lösen.
Daten-Drift und Konzept-Drift sind zwei neue Quellen spezieller Ursachen für Streuung
In einem Fertigungsprozess entsteht Streuung durch Maschinen, Material, Methoden und Menschen. Bei einem eingesetzten Modell entsteht Streuung durch die einspeisenden Daten.
Ein Qualitätsmanager, der eine Ursachenanalyse bei einem verschlechterten Modell durchführt, muss diese eingangsseitigen Verschiebungen (Data Drift) von Fällen unterscheiden, in denen sich die Beziehung zwischen den Eingaben und der korrekten Ausgabe selbst verändert hat (Concept Drift). Beides ist Prozessstreuung. Keines von beiden zeigt sich in einem Code-Review.
Die Mechanik: Mittellinie, Steuergrenzen und die Western Electric Rules
Eine auf eine Modellmetrik angewendete Regelkarte funktioniert genau wie an einer Produktionslinie.
Angewendet auf die tägliche Genauigkeit oder Fehlerrate eines Modells erfassen diese Regeln eine allmähliche Verschlechterung, die ein einfacher Genauigkeitsschwellenwert übersehen würde.
Ein klinischer Fall, der eine Untersuchung lohnt
Ein Peer-Review-Framework aus dem Jahr 2024 für radiologische KI-Systeme zeigt, wie das in der Praxis aussieht. Forscher kombinierten SPC mit Machine Learning, um
Das ist ein Problem der mittleren Lauflänge (Average Run Length) – dieselbe Metrik, mit der beurteilt wird, wie schnell eine herkömmliche Regelkarte einen verschobenen Prozess signalisiert.
Durch Machine Learning erweiterte Regelkarten beginnen, einfache Schwellenwerte zu ersetzen
Auch SPC für ML-Drift bleibt nicht statisch.
, wobei die Leistung anhand der mittleren Lauflänge beurteilt wird. Dies ist wichtig für Practitioner, die zwischen einem Standardansatz zur Prozessfähigkeit und einer adaptiveren Methode wählen – eine Entscheidung, die sich nicht von den Auswahltแยcheidungen unterscheidet, die in jedem Modul zur Lean Six Sigma-Werkzeugauswahl gelehrt werden. Eine neuere Arbeit aus dem Jahr 2025 über gebootstrappte Regelgrenzen für Concept Drift geht noch weiter: Sie baut Regelkarten speziell um Modell-Vorhersagewerte herum auf statt um rohe Feature-Statistiken. Dies vermeidet das Fehlalarm-Problem, das einfache Sigma-Schwellenwerte erzeugen, wenn Daten nicht normalverteilt sind.
Einbindung der Modellüberwachung in einen DMAIC-Steuerungsplan
Nichts davon ersetzt die Disziplin von DMAIC. Ein Modellüberwachungsprogramm verdient seinen Platz in der Control-Phase genauso wie jeder stabilisierte Prozess: Definieren Sie die Metrik (Genauigkeit, Fehlerrate, Mittelwert oder Anteil eines Features), legen Sie Grenzen aus einer stabilen Basislinienperiode fest und weisen Sie die Verantwortlichkeit für die Untersuchung von Abweichungen zu. Das Databricks-Engineering-Team drückt es bei der Beschreibung von Produktions-ML-Pipelines treffend aus:
, was eine Governance-Beschreibung genau dessen ist, was ein Black Belt als Übergang von der Messung zur Steuerung bezeichnen würde.
Wer ist für die Regelkarte verantwortlich, sobald das Modell im Einsatz ist?
Jemand muss die Untersuchung von Abweichungen übernehmen, und an dieser Eigentumsfrage scheitern die meisten Modellüberwachungsprogramme leise. Ein Black Belt weiß bereits, wie man einen Eskalationspfad für ein Außer-Kontrolle-Signal bei einem bearbeiteten Teil schreibt; dieselbe Fähigkeit lässt sich auf eine Modellgenauigkeitskarte übertragen, vorausgesetzt, das Data-Science-Team dokumentiert das Baseline-Verhalten so klar, dass jemand außerhalb des Modellbau-Teams es lesen kann. Leadership Sponsorship ist hier speziell deshalb wichtig, weil Modell-Drift-Warnungen leicht als Rauschen abgetan werden können, bis eine Kredit-, Betrugs- oder klinische Entscheidung in der Produktion schiefgeht. Verankert man diese Verantwortung mit einem benannten Process Owner und einem dokumentierten Reaktionsschwellenwert im Projektauftrag, ist das Standard-DMAIC-Praxis, angewendet auf eine neuere Art von Prozess.
Quellen
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework Übersicht: https://janusassociates.com/resources/nist-ai-risk-management-framework/
