Koneoppimismallit eivät epäonnistu samalla tavalla kuin perinteiset ohjelmistot. Ne eivät heitä poikkeuksia tai kaadu. Ne jatkavat ennusteiden tuottamista ja ennusteet vaikuttavat edelleen uskottavilta, samalla kun taustalla oleva tarkkuus vähitellen heikkenee. McKinseyn katsaus tekoälyriskien hallintaan huomauttaa, että tuotannossa olevien mallien seurannassa on seurattavadata drift, model metrics, and bias metrics in outcomes as a continuous discipline rather than a one-time validation step.
That is a control problem, and it is exactly the kind of problem Lean Six Sigma practitioners have been solving with ohjauskortit for decades.
Datan heikkeneminen (Data Drift) ja konseptin heikkeneminen (Concept Drift) ovat kaksi uutta erityissyyn aiheuttamaa vaihtelulähdettä
In a manufacturing process, variation comes from machines, materials, methods, and people. In a deployed model, variation comes from the data feeding it.
A quality manager doing juurisyyanalyysissa on a degraded model needs to separate these input-side shifts (data drift) from cases where the relationship between inputs and the correct output itself has changed (concept drift). Both are process variation. Neither shows up in a code review.
Mekaniikka: Keskilinja, ohjausrajat ja Western Electric -säännöt
A control chart applied to a model metric works the same way it works on a production line.
Applied to a model’s daily accuracy or error rate, these rules catch gradual degradation that a simple accuracy threshold would miss.
Kliininen tapaus, jota kannattaa opiskella
A 2024 peer-reviewed framework built for radiological AI systems shows what this looks like in practice. Researchers combined SPC with machine learning to catch
That is an average-run-length problem, the same metric used to judge how quickly a traditional control chart flags a shifted process.
Koneoppimisella tehostetut ohjauskortit alkavat korvata yksinkertaisia kynnysarvoja
SPC for ML drift is not staying static either.
, judging performance by average run length. This matters for practitioners choosing between a standard Prosessin suorituskykyky approach and something more adaptive, an exercise no different from the tool-selection decisions taught in any Lean Six Sigma tool selectionmoduuli. Tuoreempi vuodelta 2025 peräisin oleva artikkeli konseptin heikkenemisen bootstrapatuista ohjausrajoista laajentaa tätä edelleen rakentamalla ohjauskortteja erityisesti mallin ennustepisteiden eikä raakojen ominaisuustilastojen ympärille. Tämä välttää väärien hälytysten ongelman, joita tavalliset Sigma-kynnysarvot luovat, kun data ei ole normaalisti jakautunutta.
Mallin seurannan sovittaminen DMAIC-ohjaussuunnitelmaan
None of this replaces the discipline of DMAIC. Mallin seurantaohjelma ansaitsee paikkansa Control (Ohjaus) -vaiheessa samalla tavalla kuin mikä tahansa vakautettu prosessi: määritä mittari (tarkkuus, virhesuhde, ominaisuuden keskiarvo tai osuus), aseta rajat stabiililta lähtötasojaksolta ja osoita omistajuus poikkeamien tutkintaan. Databricksin insinööritiimi, kuvatessaan tuotannon ML-putkia, sanoo sen suoraan:
, which is a governance description of exactly what a Black Belt would call moving from measurement to control.
Kuka omistaa ohjauskortin, kun malli on otettu käyttöön
Jonkusta on omistettava poikkeamien tutkinta, ja tämä omistajuuskysymys on kohta, jossa useimmat mallien seurantaohjelmat hiljaisesti epäonnistuvat. Black Belt tietää jo, miten kirjoitetaan eskalaatiopolku ohjausrajojen ulkopuolella olevalle signaalille koneistetussa osassa; sama taito siirtyy mallin tarkkuuskorttiin, kunhan datatiedetiimi dokumentoi lähtötason käyttäytymisen riittävän selkeästi, jotta joku mallin rakentamistiimin ulkopuolella voi lukea sitä. Sponsorointi johdolta on tässä tärkeää erityisesti siksi, että mallin heikkenemishälytykset on helppo kuitata kohinana, kunnes luotto-, petos- tai kliininen päätös menee vikaan tuotannossa. Tämän omistajuuden rakentaminen projektisopimukseen (charter), nimetyllä prosessin omistajalla ja dokumentoidulla kynnysarvolla reagoinnille, on tavanomaista DMAIC-käytäntöä sovellettuna uudenlaiseen prosessiin.
Lähteet
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview: https://janusassociates.com/resources/nist-ai-risk-management-framework/
