Modeli strojnega učenja ne odpovejo na enak način kot tradicionalna programska oprema. Ne javljajo izjem in se ne zrušijo. Še naprej ustvarjajo napovedi in te napovedi so še naprej videti verjetne, medtem ko se dejanska natančnost tiho zmanjšuje. McKinseyjev pregled prakse tveganj pri umetni inteligenci navaja, da mora spremljanje modelov v produkciji slediti odstopanju podatkov (data drift), metriksam modela in metriksam pristranskosti v rezultatih kot trajna disciplina ter ne kot enkraten korak preverjanja.
To je problem nadzora in to je točno takšna vrsta problema, ki jo strokovnjaki za Lean Six Sigma že desetletja rešujejo z nadzornimi kartami.
Odklon podatkov in odklon koncepta sta dva nova vira variacije zaradi posebnih vzrokov
V proizvodnem procesu variacije izvirajo iz strojev, materialov, metod in ljudi. V uporabljenem modelu pa variacije izvirajo iz podatkov, ki ga napajajo.
Vodja kakovosti, ki izvaja analizo osnovnih vzrokov na oslabelem modelu, mora ločiti te spremembe na vstopni strani (odstopanje podatkov) od primerov, ko se je spremenilo samo razmerje med vstopnimi podatki in pravilnim izhodom (konceptualno odstopanje). Oboje predstavlja variacijo procesa. Nobeno od tega pa se ne prikaže pri pregledu kode.
Mehanika: Centralna linija, kontrolne meje in pravila Western Electric
Nadzorna karta, uporabljena za metriko modela, deluje na enak način kot na proizvodni liniji.
Te zakonitosti, uporabljene za dnevno natančnost ali stopnjo napak modela, zaznajo postopno poslabšanje, ki bi ga enostaven prag natančnosti zgrešil.
Klinični primer, vreden proučevanja
Strokovno recenzirani okvir iz leta 2024, zasnovan za sisteme umetne inteligence v radiologiji, prikazuje, kako je to videti v praksi. Raziskovalci so združili SPC s strojnim učenjem, da bi ujeli
To je problem povprečne dolžine niza (average run length), kar je enaka metrika, ki se uporablja za presojo, kako hitro tradicionalna nadzorna karta opozori na spremenjen proces.
Karte, izboljšane s strojnim učenjem, začenjajo nadomeščati enostavne meje
SPC za odstopanja pri strojnem učenju prav tako ne ostaja statičen.
, pri čemer se zmogljivost presoja glede na povprečno dolžino niza. To je pomembno za strokovnjake, ki izbirajo med standardnim pristopom sposobnosti procesa in nečim bolj prilagodljivim, kar je odločitev, ki se ne razlikuje od izbire orodij, o kateri se poučuje v katerem koli modulu izbire orodij Lean Six Sigma. Novejši članek iz leta 2025 o samooznavalnih (bootstrapped) nadzornih mejah za konceptualno odstopanje to nadgrajuje ter gradi nadzorne karte posebej okoli rezultatov napovedi modela namesto okoli statistike surovih značilnosti, kar preprečuje težavo z lažnimi alarmi, ki jo ustvarijo običajne meje sigma, kadar podatki niso normalno porazdeljeni.
Vključitev spremljanja modela v kontrolni načrt DMAIC
Nič od tega ne nadomešča discipline DMAIC. Program za spremljanje modela si prisluži svoje mesto v fazi Nadzor (Control) na enak način kot kateri koli stabiliziran proces: določite metriko (natančnost, stopnjo napak, povprečje ali delež značilnosti), določite meje iz obdobja stabilnih izhodiščnih vrednosti ter dodelite lastništvo za preiskovanje odstopanj. Inženirska ekipa podjetja Databricks pri opisu produkcijskih cevovodov za strojno učenje to jasno povzame:
, kar je upravljavski opis točno tega, kar bi Black Belt poimenoval prehod od merjenja k nadzoru.
Kdo je lastnik karte, ko je model enkrat uporabljen
Nekdo mora biti lastnik preiskave odstopanj in vprašanje tega lastništva je mesto, kjer večina programov spremljanja modelov tiho odpove. Black Belt že zna napisati pot stopnjevanja za signal izven nadzora na obdelanem delu; enako znanje se prenese na karto natančnosti modela, pod pogojem, da ekipa za podatkovne vede dovolj jasno dokumentira osnovno vedenje, da ga lahko prebere nekdo zunaj ekipe za gradnjo modela. Sponzorstvo vodstva je tu pomembno predvsem zato, ker je opozorila o odklonu modela enostavno zavrniti kot hrup, dokler gre kreditna, prevarantska ali klinična odločitev v proizvodnji narobe. Vključitev tega lastništva v ustanovno listino projekta z imenovanim lastnikom procesa in dokumentiranim pragom odziva je standardna praksa DMAIC, uporabljena za novejšo vrsto procesa.
Viri
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 Pregled ogrodja za upravljanje tveganj AI: https://janusassociates.com/resources/nist-ai-risk-management-framework/
