Maskinlæringsmodeller feiler ikke på samme måte som tradisjonell programvare feiler. De kaster ikke unntak eller krasjer. De fortsetter å generere prediksjoner, og prediksjonene fortsetter å virke sannsynlige, mens den underliggende nøyaktigheten stille og rolig svekkes. En McKinsey-gjennomgang av AI-risikopraksis bemerker at modellovervåking i produksjon må spore datadrift, modellberegninger og skjevhetsberegninger i resultater som en kontinuerlig disiplin heller enn et engangs valideringstrinn.
Dette er et styringsproblem, og det er nøyaktig den typen problem utøvere av Lean Six Sigma har løst med styringsdiagrammer i tiår.
Dataavvik og konseptavvik er to nye kilder til spesiell årsaksvariasjon
I en produksjonsprosess kommer variasjon fra maskiner, materialer, metoder og mennesker. I en utrullet modell kommer variasjon fra dataene som mates inn i den.
En kvalitetsleder som utfører rotårsaksanalyse på en svekket modell, må skille disse inndataside-endringene (datadrift) fra tilfeller der selve forholdet mellom inndata og det korrekte resultatet har endret seg (begrepsdrift). Begge deler er prosessvariasjon. Ingen av dem vises i en kodegjennomgang.
Mekanikken: Sentreringslinje, styregrenser og Western Electric-reglene
Et styringsdiagram brukt på en modellberegning fungerer på samme måte som på en produksjonslinje.
Brukt på en modells daglige nøyaktighet eller feilrate, fanger disse reglene opp gradvis forringelse som en enkel nøyaktighetsterskel ville ha oversett.
Et klinisk tilfelle verdt å studere
Ett fagfellevurdert rammeverk fra 2024 bygget for radiologiske AI-systemer viser hvordan dette ser ut i praksis. Forskere kombinerte SPC med maskinlæring for å fange opp
Det er et problem med gjennomsnittlig kjørelengde (ARL), den samme beregningen som brukes til å vurdere hvor raskt et tradisjonelt styringsdiagram varsler om en forskjøvet prosess.
Modeller forbedret med maskinlæring begynner å erstatte enkle terskelverdier
SPC for ML-drift står heller ikke stille.
, ved å vurdere ytelse ut fra gjennomsnittlig kjørelengde. Dette har betydning for utøvere som velger mellom en standard prosesskapabilitet-tilnærming og noe mer adaptivt – en øvelse som ikke er annerledes enn beslutningene om verktøyvalg som læres bort i enhver modul for verktøyvalg i Lean Six Sigma. En nyere artikkel fra 2025 om bootstrappede styringsgrenser for begrepsdrift tar dette videre, ved å bygge styringsdiagrammer spesifikt rundt modellens prediksjonsskårer snarere enn rå funksjonsstatistikk. Dette unngår falske alarmer som vanlige Sigma-terskler skaper når data ikke er normalfordelt.
Å integrere modellovervåking i en DMAIC-styringsplan
Ingenting av dette erstatter disiplinen i DMAIC. Et program for modellovervåking fortjener sin plass i Kontroll-fasen på samme måte som enhver stabilisert prosess gjør: definer mätstørrelsen (nøyaktighet, feilrate, en funksjons gjennomsnitt eller andel), sett grenser fra en stabil grunnlinjeperiode, og tildel eierskap for å undersøke avvik. Engineering-teamet i Databricks, som beskriver ML-produksjonslinjer, sier det rett ut:
, noe som er en styringsbeskrivelse av nøyaktig det en Black Belt ville kalle å gå fra måling til styring.
Hvem eier diagrammet når modellen er satt i drift
Noen må eie undersøkelsen av bruddet, og dette spørsmålet om eierskap er der de fleste modellovervåkingsprogrammer stille og rolig feiler. En Black Belt vet allerede hvordan man skriver en eskaleringsvei for et signal som er ute av styring på en maskinert del; den samme ferdigheten kan overføres til et diagram for modellnøyaktighet, forutsatt at datavitenskapsteamet dokumenterer utgangsadferden klart nok til at noen utenfor modellbyggingsteamet kan lese den. Sponsorat fra ledelsen betyr mye her, spesielt fordi varsler om modellavvik er lette å avfeie som støy helt til en kreditt-, svindel- eller klinisk beslutning går galt i produksjon. Å bygge det eierskapet inn i et prosjektmandat, med en navngitt prosesseier og en dokumentert responsterkel, er standard DMAIC-praksis anvendt på en nyere type prosess.
Kilder
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, oversikt over NIST.AI.100-1 AI Risk Management Framework: https://janusassociates.com/resources/nist-ai-risk-management-framework/
