Les modèles de machine learning ne tombent pas en panne comme le font les logiciels traditionnels. Ils ne lèvent pas d'exceptions et ne plantent pas. Ils continuent de générer des prédictions, et ces prédictions restent vraisemblables, tandis que la précision sous-jacente s'érode silencieusement. Une étude de McKinsey sur les pratiques de gestion des risques liés à l'IA note que la surveillance des modèles en production doit suivre la dérive des données, les métriques de modèle et les métriques de biais dans les résultats comme une discipline continue plutôt que comme une étape de validation ponctuelle.
Il s'agit d'un problème de contrôle, et c'est exactement le type de problème que les praticiens du Lean Six Sigma résolvent avec la control charts depuis des décennies.
La dérive des données et la dérive de concept sont deux nouvelles sources de variation pour cause spéciale
Dans un processus de fabrication, la variation provient des machines, des matériaux, des méthodes et de la main-d'œuvre. Dans un modèle déployé, la variation provient des données qui l'alimentent.
Un responsable qualité réalisant une analyse root cause analysis sur un modèle dégradé doit séparer ces décalages du côté des entrées (dérive des données) des cas où la relation entre les entrées et la sortie correcte elle-même a changé (dérive de concept). Toutes deux constituent une variation de processus. Aucune n'apparaît lors d'une revue de code.
Le fonctionnement : Ligne centrale, limites de contrôle et règles de Western Electric
A carte de contrôle appliquée à une métrique de modèle fonctionne de la même manière que sur une ligne de production.
Appliquées à la précision quotidienne ou au taux d'erreur d'un modèle, ces règles détectent une dégradation progressive qu'un simple seuil de précision manquerait.
Un cas clinique méritant attention
Un cadre évalué par des pairs en 2024 et conçu pour les systèmes d'IA radiologiques montre à quoi cela ressemble en pratique. Des chercheurs ont combiné la SPC et le machine learning pour détecter
Il s'agit d'un problème de longueur moyenne de série (ARL), la même métrique utilisée pour juger de la rapidité avec laquelle une carte de contrôle traditionnelle signale un processus qui a dérivé.
Les cartes optimisées par le Machine Learning commencent à remplacer les simples seuils
La SPC pour la dérive du ML ne reste pas non plus statique.
, en évaluant la performance par la longueur moyenne de série. Cela importe pour les praticiens qui choisissent entre une approche process capability standard et quelque chose de plus adaptatif, un exercice en rien différent des décisions de sélection d'outils enseignées dans n'importe quel choix d'outils Lean Six Sigma module. Un article plus récent de 2025 sur les limites de contrôle rééchantillonnées (bootstrap) pour la dérive de concept pousse cela encore plus loin, en construisant des cartes de contrôle spécifiquement autour des scores de prédiction des modèles plutôt que sur des statistiques de variables brutes, ce qui évite le problème de fausses alarmes que les simples seuils sigma créent lorsque les données ne suivent pas une loi normale.
Intégrer la surveillance des modèles dans un plan de contrôle DMAIC
Rien de tout cela ne remplace la discipline de la DMAIC. Un programme de surveillance des modèles gagne sa place dans la phase Control de la même manière que n'importe quel processus stabilisé : définir la métrique (précision, taux d'erreur, moyenne ou proportion d'une variable), définir des limites à partir d'une période de référence stable et attribuer la responsabilité des investigations en cas de dépassement. L'équipe d'ingénierie de Databricks, décrivant les pipelines de ML en production, le formule clairement :
, ce qui est la description sous l'angle de la gouvernance de ce qu'un Black Belt appellerait le passage de la mesure au contrôle.
À qui appartient la carte une fois le modèle déployé
Quelqu'un doit être propriétaire de l'investigation sur le dépassement de limite, et cette question de responsabilité est l'endroit où la plupart des programmes de surveillance de modèles échouent en silence. Un Black Belt sait déjà comment rédiger un parcours d'escalade pour un signal hors contrôle sur une pièce usinée ; la même compétence se transfère à une carte de précision de modèle, à condition que l'équipe de science des données documente le comportement de référence suffisamment clairement pour qu'une personne extérieure à l'équipe de construction du modèle puisse le lire. Le parrainage de la direction compte particulièrement ici, car les alertes de dérive de modèle sont faciles à rejeter comme du bruit jusqu'à ce qu'une décision de crédit, de fraude ou clinique ne tourne mal en production. Intégrer cette responsabilité dans une charte de projet, avec un Process Owner désigné et un seuil de réponse documenté, relève de la pratique DMAIC standard appliquée à un type de processus plus récent.
Sources
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC : https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control : https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions : https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts : https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview : https://janusassociates.com/resources/nist-ai-risk-management-framework/
