Les modèles de machine learning ne tombent pas en panne comme le font les logiciels traditionnels. Ils ne lèvent pas d'exceptions et ne plantent pas. Ils continuent de générer des prédictions, et ces prédictions restent vraisemblables, tandis que la précision sous-jacente s'érode silencieusement. Une étude de McKinsey sur les pratiques de gestion des risques liés à l'IA note que la surveillance des modèles en production doit suivre la dérive des données, les métriques de modèle et les métriques de biais dans les résultats comme une discipline continue plutôt que comme une étape de validation ponctuelle.
Il s'agit d'un problème de contrôle, et c'est exactement le type de problème que les praticiens du Lean Six Sigma résolvent avec la les cartes de contrôle depuis des décennies.
La dérive des données et la dérive de concept sont deux nouvelles sources de variation pour cause spéciale
Dans un processus de fabrication, la variation provient des machines, des matériaux, des méthodes et de la main-d'œuvre. Dans un modèle déployé, la variation provient des données qui l'alimentent.
Un responsable qualité réalisant une analyse l'analyse des causes racines sur un modèle dégradé doit séparer ces décalages du côté des entrées (dérive des données) des cas où la relation entre les entrées et la sortie correcte elle-même a changé (dérive de concept). Toutes deux constituent une variation de processus. Aucune n'apparaît lors d'une revue de code.
Le fonctionnement : Ligne centrale, limites de contrôle et règles de Western Electric
A carte de contrôle appliquée à une métrique de modèle fonctionne de la même manière que sur une ligne de production.
Appliquées à la précision quotidienne ou au taux d'erreur d'un modèle, ces règles détectent une dégradation progressive qu'un simple seuil de précision manquerait.
Un cas clinique méritant attention
Un cadre évalué par des pairs en 2024 et conçu pour les systèmes d'IA radiologiques montre à quoi cela ressemble en pratique. Des chercheurs ont combiné la SPC et le machine learning pour détecter
Il s'agit d'un problème de longueur moyenne de série (ARL), la même métrique utilisée pour juger de la rapidité avec laquelle une carte de contrôle traditionnelle signale un processus qui a dérivé.
Les cartes optimisées par le Machine Learning commencent à remplacer les simples seuils
La SPC pour la dérive du ML ne reste pas non plus statique.
, en évaluant la performance par la longueur moyenne de série. Cela importe pour les praticiens qui choisissent entre une approche la capacité des processus standard et quelque chose de plus adaptatif, un exercice en rien différent des décisions de sélection d'outils enseignées dans n'importe quel choix d'outils Lean Six Sigma module. Un article plus récent de 2025 sur les limites de contrôle rééchantillonnées (bootstrap) pour la dérive de concept pousse cela encore plus loin, en construisant des cartes de contrôle spécifiquement autour des scores de prédiction des modèles plutôt que sur des statistiques de variables brutes, ce qui évite le problème de fausses alarmes que les simples seuils sigma créent lorsque les données ne suivent pas une loi normale.
Intégrer la surveillance des modèles dans un plan de contrôle DMAIC
Rien de tout cela ne remplace la discipline de la DMAIC. Un programme de surveillance des modèles gagne sa place dans la phase Control de la même manière que n'importe quel processus stabilisé : définir la métrique (précision, taux d'erreur, moyenne ou proportion d'une variable), définir des limites à partir d'une période de référence stable et attribuer la responsabilité des investigations en cas de dépassement. L'équipe d'ingénierie de Databricks, décrivant les pipelines de ML en production, le formule clairement :
, ce qui est la description sous l'angle de la gouvernance de ce qu'un Black Belt appellerait le passage de la mesure au contrôle.
À qui appartient la carte une fois le modèle déployé
Quelqu'un doit être propriétaire de l'investigation en cas de dépassement, et cette question de responsabilité est l'endroit où la plupart des programmes de surveillance des modèles échouent silencieusement. Un Black Belt sait déjà comment rédiger un parcours d'escalade pour un signal hors contrôle sur une pièce usinée ; la même compétence se transpose à une carte de précision de modèle, à condition que l'équipe de data science documente le comportement de référence suffisamment clairement pour qu'une personne externe à l'équipe de création du modèle puisse la lire. Le parrainage de la direction est ici particulièrement important parce que les alertes de dérive de modèle sont faciles à balayer comme du bruit jusqu'à ce qu'une décision de crédit, de fraude ou clinique ne tourne mal en production. Intégrer cette responsabilité dans une charte de projet, avec un Process Owner désigné et un seuil de réponse documenté, est une pratique DMAIC standard appliquée à un type de processus plus récent.
Sources
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC : https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control : https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions : https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts : https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview : https://janusassociates.com/resources/nist-ai-risk-management-framework/
