Machine learning-modeller fejler ikke på samme måde som traditionel software. De kaster ikke exceptions eller krakker. De bliver ved med at generere forudsigelser, og forudsigelserne bliver ved med at se sandsynlige ud, mens den underliggende nøjagtighed langsomt forringes. En McKinsey-undersøgelse af AI-risikopraksis bemærker, at overvågning af modeller i produktion kræver sporing af datadrift, modelmålinger og bias-målinger i resultaterne som en kontinuerlig disciplin snarere end et engangsvalideringstrin.
Det er et styringsproblem, og det er præcis den type problem, som Lean Six Sigma-udøvere har løst med styringsdiagrammer i årtier.
Data Drift and Concept Drift Are Two New Sources of Special-Cause Variation
I en fremstillingsproces kommer variation fra maskiner, materialer, metoder og mennesker. I en ibrugtaget model kommer variation fra de data, der føder den.
En kvalitetschef, der udfører årsagsanalyse på en forringet model, er nødt til at adskille disse ændringer på input-siden (datadrift) fra tilfælde, hvor selve forholdet mellem input og det korrekte output har ændret sig (konceptdrift). Begge dele er procesvariation. Ingen af dem dukker op i et kodereview.
The Mechanics: Center Line, Control Limits, and the Western Electric Rules
Et styrediagram anvendt på en modelberegning fungerer på samme måde som på en produktionslinje.
Anvendt på en models daglige nøjagtighed eller fejlrute opfanger disse regler gradvis forringelse, som en simpel nøjagtighedstærskel ville overse.
A Clinical Case Worth Studying
En peer-reviewed ramme fra 2024, der er udviklet til radiologiske AI-systemer, viser, hvordan dette ser ud i praksis. Forskere kombinerede SPC med maskinlæring for at opdage
Det er et problem med gennemsnitlig kørselslængde (average run length), den samme parameter, der bruges til at vurdere, hvor hurtigt et traditionelt kontroldiagram flagger en ændret proces.
Machine-Learning-Enhanced Charts Are Starting to Replace Simple Thresholds
SPC til ML-drift står heller ikke stille.
, hvor ydeevnen vurderes ud fra gennemsnitlig kørselslængde. Dette er vigtigt for fagfolk, der skal vælge mellem en standardtilgang til proceskapabilitet og noget mere adaptivt – en øvelse, der ikke adskiller sig fra beslutninger om værktøjsvalg, som undervises i et hvilket som helst modul om Lean Six Sigma tool selection. Et nyere papir fra 2025 om bootstrappede kontrolgrænser for concept drift tager dette et skridt videre ved at opbygge kontrolkort specifikt omkring model-forudsigelsesscores snarere end rå feature-statistikker, hvilket undgår problemet med falske alarmer, som almindelige Sigma-tærskler skaber, når data ikke er normalfordelt.
Folding Model Monitoring into a DMAIC Control Plan
Intet af dette erstatter disciplinen i DMAIC. Et program til overvågning af modeller gør sig fortjent til sin plads i Control-fasen på nøjagtig samme måde som enhver anden stabiliseret proces: definer metrikken (præcision, fejlrati, en funktions gennemsnit eller proportion), fastsæt grænser ud fra en stabil baselineperiode, og tildel ejerskab for undersøgelse af afvigelser. Databricks-ingeniørteamet, som beskriver ML-produktionspipelinese, udtrykker det helt enkelt:
, hvilket er en governance-beskrivelse af præcis det, en Black Belt ville kalde at gå fra måling til kontrol.
Who Owns the Chart Once the Model Ships
Nogen skal eje undersøgelsen af overskridelser, og netop det spørgsmål om ejerskab er der, hvor de fleste modelovervågningsprogrammer stille og roligt slår fejl. En Black Belt ved allerede, hvordan man udarbejder en eskaleringsvej for et udenom-kontrol-signal på en bearbejdet del; den samme færdighed kan overføres til et styrediagram for modelnøjagtighed, forudsat at data science-teamet dokumenterer baseline-adfærden klart nok til, at en person uden for modelbygger-teamet kan læse den. Ledelsessponsorat er vigtigt her, specielt fordi advarsler om modeldrift er nemme at affeje som støj, indtil en kredit-, svindels- eller klinisk beslutning går galt i produktionen. At indbygge dette ejerskab i et projektcharter, med en navngiven process owner og en dokumenteret reaktionstærskel, er standard DMAIC-praksis anvendt på en nyere type proces.
Kilder
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework oversigt: https://janusassociates.com/resources/nist-ai-risk-management-framework/
