Maskinlæringsmodeller feiler ikke på samme måte som tradisjonell programvare feiler. De utløser ikke unntak eller krasjer. De fortsetter å gi prediksjoner, og prediksjonene ser fortsatt sannsynlige ut, mens den underliggende nøyaktigheten stille og rolig svekkes. En gjennomgang av AI-risikopraksis fra McKinsey bemerker at modellovervåking i produksjon må sporedata drift, model metrics, and bias metrics in outcomes as a continuous discipline rather than a one-time validation step.
That is a control problem, and it is exactly the kind of problem Lean Six Sigma practitioners have been solving with styrekart for decades.
Dataavvik og konseptavvik er to nye kilder til spesiell årsaksvariasjon
In a manufacturing process, variation comes from machines, materials, methods, and people. In a deployed model, variation comes from the data feeding it.
A quality manager doing rotårsaksanalyse on a degraded model needs to separate these input-side shifts (data drift) from cases where the relationship between inputs and the correct output itself has changed (concept drift). Both are process variation. Neither shows up in a code review.
Mekanikken: Sentreringslinje, styregrenser og Western Electric-reglene
A control chart applied to a model metric works the same way it works on a production line.
Applied to a model’s daily accuracy or error rate, these rules catch gradual degradation that a simple accuracy threshold would miss.
Et klinisk tilfelle verdt å studere
A 2024 peer-reviewed framework built for radiological AI systems shows what this looks like in practice. Researchers combined SPC with machine learning to catch
That is an average-run-length problem, the same metric used to judge how quickly a traditional control chart flags a shifted process.
Modeller forbedret med maskinlæring begynner å erstatte enkle terskelverdier
SPC for ML drift is not staying static either.
, judging performance by average run length. This matters for practitioners choosing between a standard Prosessdyktighet approach and something more adaptive, an exercise no different from the tool-selection decisions taught in any Lean Six Sigma tool selectionmodul. En nyere artikkel fra 2025 om bootstrap-baserte styregrenser for konseptavvik utvider dette ytterligere ved å bygge styrediagrammer spesifikt rundt modellens prediksjonsskårer i stedet for rå funksjonsstatistikk. Dette unngår problemet med falske alarmer som vanlige Sigma-terskler skaper når data ikke er normalfordelt.
Å integrere modellovervåking i en DMAIC-styringsplan
None of this replaces the discipline of DMAIC. Et program for modellovervåking gjør seg fortjent til en plass i Control-fasen på samme måte som enhver stabilisert prosess gjør det: Definer måltallet (nøyaktighet, feilrate, en funksjons gjennomsnitt eller andel), sett grenser fra en stabil utgangsperiode, og tildel eierskap for å undersøke brudd. Databricks sitt utviklingsteam oppsummerer det klart og tydelig når de beskriver ML-samlebånd i produksjon:
, which is a governance description of exactly what a Black Belt would call moving from measurement to control.
Hvem eier diagrammet når modellen er satt i drift
Noen må eie undersøkelsen av bruddet, og dette spørsmålet om eierskap er der de fleste modellovervåkingsprogrammer stille og rolig feiler. En Black Belt vet allerede hvordan man skriver en eskaleringsvei for et signal som er ute av styring på en maskinert del; den samme ferdigheten kan overføres til et diagram for modellnøyaktighet, forutsatt at datavitenskapsteamet dokumenterer utgangsadferden klart nok til at noen utenfor modellbyggingsteamet kan lese den. Sponsorat fra ledelsen betyr mye her, spesielt fordi varsler om modellavvik er lette å avfeie som støy helt til en kreditt-, svindel- eller klinisk beslutning går galt i produksjon. Å bygge det eierskapet inn i et prosjektmandat, med en navngitt prosesseier og en dokumentert responsterkel, er standard DMAIC-praksis anvendt på en nyere type prosess.
Kilder
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, oversikt over NIST.AI.100-1 AI Risk Management Framework: https://janusassociates.com/resources/nist-ai-risk-management-framework/
