Maskininlärningsmodeller fallerar inte på samma sätt som traditionell mjukvara fallerar. De kastar inte undantag eller kraschar. De fortsätter att generera förutsägelser, och förutsägelserna ser fortsatt rimliga ut, samtidigt som den underliggande träffsäkerheten tyst bryts ned. En McKinsey-granskning av AI-riskhantering noterar att modellövervakning i produktion behöver spåra data drift, modellmått och skevhetsmått i resultat som en kontinuerlig disciplin snarare än ett engångssteg för validering.
Detta är ett styrningsproblem, och det är exakt den typ av problem som utövare av Lean Six Sigma har löst med styrkort i decennier.
Dataavvikelse och konceptavvikelse är två nya källor till speciella orsaker till variation
I en tillverkningsprocess kommer variation från maskiner, material, metoder och människor. I en driftsatt modell kommer variation från data som matas in i den.
En kvalitetssvarig som utför root cause analysis på en försämrad modell måste skilja dessa förändringar på indatasidan (data drift) från fall där själva relationen mellan indata och rätt utdata har ändrats (concept drift). Båda utgör processvariation. Ingen av dem syns i en kodgranskning.
Mekaniken: centrumlinje, styrgränser och Western Electric-reglerna
A styrdiagram applicerat på ett modellmått fungerar på samma sätt som det gör på en produktionslinje.
När dessa regler tillämpas på en modells dagliga träffsäkerhet eller felfrekvens, fångar de gradvis försämring som en simpel gräns för träffsäkerhet skulle missa.
Ett kliniskt fall värt att studera
Ett peer-reviewat ramverk från 2024 byggt för radiologiska AI-system visar hur detta ser ut i praktiken. Forskare kombinerade SPC med maskininlärning för att fånga
Det handlar om ett problem med genomsnittlig run-längd, samma mått som används för att bedöma hur snabbt ett traditionellt styrdiagram flaggar en förskjuten process.
Mjukvarubaserade diagram förstärkta med maskininlärning börjar ersätta enkla tröskelvärden
SPC för ML-drift står inte heller stilla.
, genom att bedöma prestanda utifrån genomsnittlig run-längd. Detta har betydelse för utövare som väljer mellan en standardiserad process capability ansats och något mer adaptivt, en övning som inte skiljer sig från de beslut om verktygsval som läras ut i vilken Lean Six Sigma tool selection modul som helst. En nyare artikel från 2025 om bootstrappade styrgränser för concept drift tar detta ännu längre, genom att bygga styrdiagram specifikt kring modellens förutsägelsepoäng snarare än rå särdragsstatistik, vilket undviker problemet med falska larm som enkla Sigma-gränser skapar när data inte är normalfördelad.
Att passa in modellövervakning i en DMAIC-styrplan
Inget av detta ersätter disciplinen i DMAIC. Ett program för modellövervakning förtjänar sin plats i Control-fasen på samma sätt som vilken stabiliserad process som helst: definiera måttet (träffsäkerhet, felfrekvens, ett särdrags medelvärde eller proportion), sätt gränser från en stabil baslinjeperiod och tilldela ägarskap för att undersöka överträdelser. Databricks ingenjörsteam, som beskriver ML-pipelines i produktion, uttrycker det enkelt:
, vilket är en styrningsbeskrivning av exakt vad en Black Belt skulle kalla att gå från mätning till styrning.
Vem äger diagrammet när modellen har levererats
Någon måste äga undersökningen av överträdelser, och den ägarskapsfrågan är där de flesta program för modellövervakning tyst misslyckas. En Black Belt vet redan hur man skriver en eskaleringsväg för en signal om bristande kontroll på en bearbetad detalj; samma färdighet kan överföras till ett diagram för modellens träffsäkerhet, förutsatt att datavetenskapsteamet dokumenterar baslinjebeteendet tillräckligt tydligt för att någon utanför modellbyggarteamet ska kunna läsa det. Sponsorskap från ledningen spelar roll här specifikt eftersom larm om modelldrift är lätta att avfärda som brus tills ett kredit-, bedrägeri- eller kliniskt beslut går fel i produktionen. Att bygga in detta ägarskap i ett projektkontrakt, med en namngiven Process Owner och en dokumenterad responströskel, är standardiserad DMAIC praxis tillämpad på en nyare typ av process.
Källor
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview: https://janusassociates.com/resources/nist-ai-risk-management-framework/
