Koneoppimismallit eivät vikaannu samalla tavalla kuin perinteiset ohjelmistot. Ne eivät heitä poikkeuksia tai kaadu. Ne tuottavat edelleen ennusteita, ja ennusteet näyttävät jatkuvasti uskottavilta, samalla kun taustalla oleva tarkkuus heikkenee vähitellen. McKinseyn tekoälyriskikäytäntöjä koskevassa katsauksessa todetaan, että tuotannossa olevan mallin valvonnassa on seurattava datasiirtymää (data drift), mallimatriiseja ja tulosten vinoumamittareita jatkuvana prosessina kertaluonteisen validoinnin sijaan.
Kyseessä on ohjausongelma, ja se on täsmälleen sellainen haaste, jota Lean Six Sigma -asiantuntijat ovat ratkaisseet ohjauskorttien avulla vuosikymmenten ajan.
Datan heikkeneminen (Data Drift) ja konseptin heikkeneminen (Concept Drift) ovat kaksi uutta erityissyyn aiheuttamaa vaihtelulähdettä
Valmistusprosessissa vaihtelua aiheuttavat koneet, materiaalit, menetelmät ja ihmiset. Tuotantokäytössä olevassa mallissa vaihtelu johtuu sille syötettävästä datasta.
Laatupäällikön, joka tekee juurisyy-analyysiä heikentyneestä mallista, on erotettava nämä syötepuolen muutokset (datasiirtymä) tapauksista, joissa syötteiden ja oikean tuloksen välinen suhde itsessään on muuttunut (käsite- eli konseptisiirtymä). Molemmat ovat prosessinvaihtelua. Kumpikaan ei tule esiin koodikatselmuksessa.
Mekaniikka: Keskilinja, ohjausrajat ja Western Electric -säännöt
Mallimatriisiin sovellettava ohjauskortti toimii samalla tavalla kuin tuotantolinjalla.
Mallin päivittäiseen tarkkuuteen tai virhelukuun sovellettuina nämä säännöt havaitsevat asteittaisen heikkenemisen, jota yksinkertainen tarkkuusraja ei havaitsisi.
Kliininen tapaus, jota kannattaa opiskella
Vuonna 2024 vertaisarvioitu, radiologisiin tekoälyjärjestelmiin kehitetty viitekehys näyttää, miltä tämä näyttää käytännössä. Tutkijat yhdistivät SPC:n ja koneoppimisen havaitakseen
Kyseessä on keskimääräisen ajopituuden (average run length) ongelma – sama mittari, jota käytetään arvioitaessa sitä, kuinka nopeasti perinteinen ohjauskortti hälyttää muuttuneesta prosessista.
Koneoppimisella tehostetut ohjauskortit alkavat korvata yksinkertaisia kynnysarvoja
Koneoppimisen siirtymän seurantaan käytettävä SPC ei sekään pysy paikoillaan.
, arvioiden suorituskykyä keskimääräisen ajopituuden perusteella. Tällä on merkitystä asiantuntijoille, jotka valitsevat standardin prosessin suorituskyky -lähestymistavan ja mukautuvamman ratkaisun välillä – tämä harjoitus ei eroa mitenkään työkalun valintapäätöksistä, joita opetetaan missä tahansa Lean Six Sigma -työkalun valinta -moduulissa. Tuoreempi, vuodelta 2025 peräisin oleva artikkeli konseptisiirtymän bootstrapatuista ohjausrajoista vie tätä vielä pidemmälle rakentamalla ohjauskortteja erityisesti mallin ennustepisteiden eikä raakojen ominaisuustilastojen ympärille. Tämä välttää turhat hälytykset, joita tavanomaiset Sigma-raja-arvot aiheuttavat, kun data ei ole normaalijakautunutta.
Mallin seurannan sovittaminen DMAIC-ohjaussuunnitelmaan
Mikään tästä ei korvaa DMAIC-menetelmän kurinalaisuutta. Mallin valvontaohjelma ansaitsee paikkansa Ohjaus (Control) -vaiheessa samalla tavalla kuin mikä tahansa vakautettu prosessi: määritä mittari (tarkkuus, virheluku, ominaisuuden keskiarvo tai osuus), aseta rajat vakaalta vertailujaksolta ja määritä omistajuus poikkeamien tutkimiselle. Databricksin insinööritiimi tiivistää tämän selkeästi kuvatessaan tuotannon koneoppimisputkia:
, mikä on hallintamallin kuvaus täsmälleen siitä, mitä Black Belt kutsuisi siirtymiseksi mittaamisesta ohjaukseen.
Kuka omistaa ohjauskortin, kun malli on otettu käyttöön
Jonkusta on omistettava poikkeamien tutkinta, ja tämä omistajuuskysymys on kohta, jossa useimmat mallien seurantaohjelmat hiljaisesti epäonnistuvat. Black Belt tietää jo, miten kirjoitetaan eskalaatiopolku ohjausrajojen ulkopuolella olevalle signaalille koneistetussa osassa; sama taito siirtyy mallin tarkkuuskorttiin, kunhan datatiedetiimi dokumentoi lähtötason käyttäytymisen riittävän selkeästi, jotta joku mallin rakentamistiimin ulkopuolella voi lukea sitä. Sponsorointi johdolta on tässä tärkeää erityisesti siksi, että mallin heikkenemishälytykset on helppo kuitata kohinana, kunnes luotto-, petos- tai kliininen päätös menee vikaan tuotannossa. Tämän omistajuuden rakentaminen projektisopimukseen (charter), nimetyllä prosessin omistajalla ja dokumentoidulla kynnysarvolla reagoinnille, on tavanomaista DMAIC-käytäntöä sovellettuna uudenlaiseen prosessiin.
Lähteet
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview: https://janusassociates.com/resources/nist-ai-risk-management-framework/
