Maskininlärningsmodeller misslyckas inte på samma sätt som traditionell programvara. De kastar inte undantag eller kraschar. De fortsätter att producera förutsägelser, och förutsägelserna ser fortfarande rimliga ut, medan den bakomliggande noggrannheten tyst försämras. En McKinsey-granskning av AI-riskhantering noterar att modellövervakning i produktion behöver spåra datadrivning, modellmått och skevhetsmått i utfall som en kontinuerlig disciplin snarare än ett engångsvalideringssteg.
Det är ett styrningsproblem, och det är exakt den typ av problem som utövare av Lean Six Sigma har löst med styrdiagram i årtionden.
Dataavvikelse och konceptavvikelse är två nya källor till speciella orsaker till variation
I en tillverkningsprocess kommer variation från maskiner, material, metoder och människor. I en driftsatt modell kommer variation från data som matas in i den.
En kvalitetschef som gör en orsaksanalys på en försämrad modell måste skilja dessa förskjutningar på indatasidan (datadrivning) från fall där relationen mellan indata och själva den korrekta utdatan har förändrats (konceptdrivning). Båda är processvariation. Ingen av dem syns i en kodgranskning.
Mekaniken: centrumlinje, styrgränser och Western Electric-reglerna
Ett styrdiagram tillämpat på ett modellmått fungerar på samma sätt som det gör på en produktionslinje.
När dessa regler tillämpas på en modells dagliga noggrannhet eller felfrekvens fångar de upp gradvis försämring som en simpel noggrannhetströskel skulle missa.
Ett kliniskt fall värt att studera
Ett peer-reviewed ramverk från 2024 byggt för radiologiska AI-system visar hur detta ser ut i praktiken. Forskare kombinerade SPC med maskininlärning för att fånga upp
Det är ett problem med genomsnittlig körlängd (average run length), samma mått som används för att bedöma hur snabbt ett traditionellt styrdiagram flaggar en förskjuten process.
Mjukvarubaserade diagram förstärkta med maskininlärning börjar ersätta enkla tröskelvärden
SPC för ML-drivning står inte heller stilla.
, genom att bedöma prestanda utifrån genomsnittlig körlängd. Detta är viktigt för utövare som väljer mellan ett standardiserat tillvägagångssätt för processduglighet och något mer adaptivt, en övning som inte skiljer sig från de verktygsvalsbeslut som läras ut i alla moduler för Lean Six Sigma verktygsval. En mer nyligen publicerad rapport från 2025 om bootstrap-baserade styrgränser för konceptdrivning utvecklar detta ytterligare genom att bygga styrdiagram specifikt kring modellens förutsägelsepoäng snarare än rå särdragsstatistik, vilket undviker falsklarmsproblemet som vanliga Sigma-trösklar skapar när data inte är normalfördelad.
Att passa in modellövervakning i en DMAIC-styrplan
Inget av detta ersätter disciplinen i DMAIC. Ett modellövervakningsprogram gör sig förtjänt av sin plats i Control-fasen på samma sätt som vilken stabiliserad process som helst: definiera måttet (noggrannhet, felfrekvens, ett särdrags medelvärde eller andel), sätt gränser utifrån en stabil baslinjeperiod och tilldela ägarskap för att undersöka överträdelser. Databricks ingenjörsteam uttrycker det enkelt när de beskriver ML-pipeliner i produktion:
, vilket är en styrningsbeskrivning av exakt vad en Black Belt skulle kalla att gå från mätning till styrning.
Vem äger diagrammet när modellen har levererats
Någon måste äga undersökningen av överträdelser, och den ägarfrågan är där de flesta modellövervakningsprogram tyst misslyckas. En Black Belt vet redan hur man skriver en eskaleringsväg för en signal om att en bearbetad detalj är utom kontroll; samma färdighet kan överföras till ett styrdiagram för modellnoggrannhet, förutsatt att datavetenskapsteamet dokumenterar baslinjebeteendet tillräckligt tydligt för att någon utanför modellbyggarteamet ska kunna läsa det. Sponsorskap från ledningen är särskilt viktigt här eftersom varningar om modelldrivning är lätta att avfärda som brus tills ett kredit-, bedrägeri- eller kliniskt beslut går fel i produktionen. Att bygga in det ägarskapet i en projektcharter, med en namngiven Process Owner och en dokumenterad responströskel, är standardiserad DMAIC-praxis tillämpad på en nyare typ av process.
Källor
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), En översikt över hur artificiell intelligens påverkar statistisk processövervakning och framtida riktningar: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrap-styrgränser för poängbaserade styrdiagram för begreppsdrift: https://arxiv.org/pdf/2507.16749
- JANUS Associates, Översikt över NIST.AI.100-1 AI Risk Management Framework: https://janusassociates.com/resources/nist-ai-risk-management-framework/
