I modelli di machine learning non falliscono allo stesso modo del software tradizionale. Non generano eccezioni e non si bloccano. Continuano a produrre previsioni, e tali previsioni continuano a sembrare verosimili, mentre l'accuratezza sottostante si deteriora silenziosamente. Un'analisi di McKinsey sulle pratiche di gestione del rischio dell'IA rileva che il monitoraggio dei modelli in produzione deve tracciare la data drift, le metriche del modello e le metriche di bias nei risultati come una disciplina continua anziché come una singola fase di validazione.
Si tratta di un problema di controllo, ed è esattamente il tipo di problema che i professionisti del Lean Six Sigma risolvono da decenni con le carte di controllo.
Data Drift e Concept Drift sono due nuove fonti di variazione per cause speciali
In un processo produttivo, la variazione deriva da macchine, materiali, metodi e persone. In un modello distribuito, la variazione deriva dai dati che lo alimentano.
Un responsabile della qualità che esegue un'analisi delle cause radice su un modello degradato deve separare questi scostamenti dal lato degli input (data drift) dai casi in cui è cambiata la relazione stessa tra gli input e l'output corretto (concept drift). Entrambe costituiscono una variazione di processo. Nessuna delle due emerge durante una revisione del codice.
La meccanica: linea centrale, limiti di controllo e regole della Western Electric
Una carta di controllo applicata a una metrica di modello funziona allo stesso modo di quando viene applicata a una linea di produzione.
Applicate all'accuratezza giornaliera o al tasso di errore di un modello, queste regole rilevano un degrado graduale che una semplice soglia di accuratezza non riuscirebbe a cogliere.
Un caso clinico che vale la pena studiare
Un framework peer-reviewed del 2024 sviluppato per i sistemi di IA radiologica mostra come questo si traduca in pratica. I ricercatori hanno combinato la SPC con il machine learning per rilevare
Questo è un problema di ARL (average run length), la stessa metrica utilizzata per valutare la rapidità con cui una carta di controllo tradizionale segnala un processo che ha subito uno spostamento.
Le carte ottimizzate per il Machine Learning stanno iniziando a sostituire le soglie semplici
Anche la SPC per la deriva dell'ML non rimane statica.
, valutando le prestazioni in base all'ARL (average run length). Questo è fondamentale per i professionisti che devono scegliere tra un approccio standard basato sulla capacità del processo e uno più adattivo: un esercizio del tutto analogo alle decisioni di selezione degli strumenti insegnate in qualsiasi modulo di selezione degli strumenti Lean Six Sigma. Un articolo più recente del 2025 sui limiti di controllo calcolati tramite bootstrap per la concept drift estende ulteriormente questo concetto, creando carte di controllo specificamente basate sui punteggi di previsione del modello piuttosto che sulle statistiche grezze delle feature. Ciò evita il problema dei falsi allarmi generato dalle semplici soglie Six Sigma quando i dati non sono distribuiti normalmente.
Integrare il monitoraggio dei modelli in un piano di controllo DMAIC
Niente di tutto questo sostituisce la rigore del DMAIC. Un programma di monitoraggio dei modelli si guadagna il proprio posto nella fase di Controllo allo stesso modo di qualsiasi processo stabilizzato: definire la metrica (accuratezza, tasso di errore, media o proporzione di una feature), impostare i limiti a partire da un periodo di baseline stabile e assegnare la responsabilità dell'analisi dei superamenti di limite. Il team di engineering di Databricks, descrivendo le pipeline di ML in produzione, lo esprime chiaramente:
, ovvero una descrizione di governance di ciò che un Black Belt definirebbe il passaggio dalla misurazione al controllo.
Chi è il responsabile della carta di controllo una volta distribuito il modello
Qualcuno deve assumersi la responsabilità dell'analisi dei superamenti dei limiti, ed è proprio su questo aspetto di responsabilità che la maggior parte dei programmi di monitoraggio dei modelli fallisce silenziosamente. Un Black Belt sa già come definire un percorso di escalation per un segnale fuori controllo su un componente lavorato; la stessa competenza si trasferisce a una carta di accuratezza del modello, a patto che il team di data science documente il comportamento di baseline in modo abbastanza chiaro da poter essere letto da qualcuno esterno al team di sviluppo del modello. La sponsorizzazione della leadership è particolarmente importante in questo contesto perché gli avvisi di drift del modello sono facili da archiviare come rumore di fondo fino a quando una decisione di credito, di frode o clinica non va storta in produzione. Inserire questa responsabilità all'interno della scheda di progetto (project charter), con un process owner nominato e una soglia di risposta documentata, è prassi standard del DMAIC applicata a un tipo di processo più recente.
Fonti
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 Panoramica dell'AI Risk Management Framework: https://janusassociates.com/resources/nist-ai-risk-management-framework/
