Koneoppimismallit eivät vikaannu samalla tavalla kuin perinteiset ohjelmistot. Ne eivät heitä poikkeuksia tai kaadu. Ne jatkavat ennusteiden tuottamista, ja ennusteet vaikuttavat edelleen uskottavilta, kun taas taustalla oleva tarkkuus heikkenee hiljaisesti. McKinseyn katsauksessa tekoälyriskien hallintakäytännöistä todetaan, että mallien valvonnassa tuotannossa on seurattava datasiirtymää (data drift), mallin mittareita ja tulosten vinoumamittareita jatkuvana disipliininä kertaluonteisen validointivaiheen sijaan.
Se on ohjausongelma, ja se on täsmälleen sellainen ongelma, jota Lean Six Sigma -asiantuntijat ovat ratkaisseet työkalulla control charts jo vuosikymmenten ajan.
Datan heikkeneminen (Data Drift) ja konseptin heikkeneminen (Concept Drift) ovat kaksi uutta erityissyyn aiheuttamaa vaihtelulähdettä
Valmistusprosessissa vaihtelu on peräisin koneista, materiaaleista, menetelmistä ja ihmisistä. Tuotantoon vietyssä mallissa vaihtelu johtuu sille syötetystä datasta.
Laatuasiantuntija, joka tekee juurisyyanalyysissa heikentyneelle mallille, joutuu erottamaan nämä syötepuolen muutokset (datasiirtymä / data drift) tapauksista, joissa itse syötteiden ja oikean tulosteen välinen suhde on muuttunut (käsite- / konseptisiirtymä eli concept drift). Molemmat ovat prosessin vaihtelua. Kumpikaan ei näy koodikatselmuksessa.
Mekaniikka: Keskilinja, ohjausrajat ja Western Electric -säännöt
A ohjauskortti (control chart) sovellettuna mallin mittariin toimii samalla tavalla kuin tuotantolinjalla.
Mallin päivittäiseen tarkkuuteen tai virhelukuun sovellettuina nämä säännöt havaitsevat asteittaisen heikkenemisen, jonka yksinkertainen tarkkuuskynnysarvo missaisi.
Kliininen tapaus, jota kannattaa opiskella
Vuoden 2024 vertaisarvioitu viitekehys, joka on rakennettu radiologisia tekoälyjärjestelmiä varten, osoittaa, miltä tämä näyttää käytännössä. Tutkijat yhdistivät SPC:n koneoppimiseen havaitakseen
Kyseessä on keskimääräisen ajopituuden (average run length) ongelma – sama mittari, jota käytetään arvioimaan, kuinka nopeasti perinteinen ohjauskortti liputtaa siirtyneen prosessin.
Koneoppimisella tehostetut ohjauskortit alkavat korvata yksinkertaisia kynnysarvoja
Koneoppimisen siirtymän seurantaan käytetty SPC ei myöskään pysy paikallaan.
, arvioiden suorituskykyä keskimääräisen ajopituuden perusteella. Tällä on väliä asiantuntijoille, jotka valitsevat vakiomuotoisen prosessin suorituskykyä -lähestymistavan ja mukautuvamman ratkaisun välillä – harjoitus ei eroa mitenkään työkaluvalintapäätöksistä, joita opetetaan missä tahansa Lean Six Sigma -työkalun valinta -moduulissa. Tuoreempi vuoden 2025 tutkimuspaperi konseptisiirtymän ohjauskorttien bootstraintikurssirajoista vie tätä vielä pidemmälle rakentamalla ohjauskortteja nimenomaan mallin ennustepisteiden eikä raakojen piirretilastojen ympärille, mikä välttää virhehälytysongelman, jonka tavalliset Six Sigma -kynnysarvot aiheuttavat, kun data ei ole normaalisti jakautunutta.
Mallin seurannan sovittaminen DMAIC-ohjaussuunnitelmaan
Mikään tästä ei korvaa kurinalaisuutta, jota DMAICvaatii. Mallin valvontaohjelma ansaitsee paikkansa Ohjaus-vaiheessa (Control) samalla tavalla kuin mikä tahansa vakautettu prosessi: määritä mittari (tarkkuus, virheluku, piirteen keskiarvo tai osuus), aseta rajat stabiililta vertailujaksolta ja osoita omistajuus poikkeamien tutkimiselle. Databricksin insinööritiimi tiivistää sen tuotannon koneoppimisputkia kuvatessaan selkeästi:
, mikä on hallintamallin kuvaus täsmälleen siitä, mitä Black Belt kutsuisi siirtymiseksi mittauksesta ohjaukseen.
Kuka omistaa ohjauskortin, kun malli on otettu käyttöön
Jonkusta on omistettava poikkeamien tutkinta, ja tämä omistajuuskysymys on kohta, jossa useimmat mallien seurantaohjelmat hiljaisesti epäonnistuvat. Black Belt tietää jo, miten kirjoitetaan eskalaatiopolku ohjausrajojen ulkopuolella olevalle signaalille koneistetussa osassa; sama taito siirtyy mallin tarkkuuskorttiin, kunhan datatiedetiimi dokumentoi lähtötason käyttäytymisen riittävän selkeästi, jotta joku mallin rakentamistiimin ulkopuolella voi lukea sitä. Sponsorointi johdolta on tässä tärkeää erityisesti siksi, että mallin heikkenemishälytykset on helppo kuitata kohinana, kunnes luotto-, petos- tai kliininen päätös menee vikaan tuotannossa. Tämän omistajuuden rakentaminen projektisopimukseen (charter), nimetyllä prosessin omistajalla ja dokumentoidulla kynnysarvolla reagoinnille, on tavanomaista DMAIC-käytäntöä sovellettuna uudenlaiseen prosessiin.
Lähteet
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview: https://janusassociates.com/resources/nist-ai-risk-management-framework/
