Les modèles de machine learning ne défaillent pas de la même manière que les logiciels traditionnels. Ils ne déclenchent pas d'exceptions et ne plantent pas. Ils continuent de générer des prédictions, et ces prédictions restent vraisemblables, tandis que la précision sous-jacente s'érode silencieusement. Une étude de McKinsey sur la gestion des risques liés à l'IA souligne que la surveillance des modèles en production doit suivre la dérive des données, les métriques du modèle et les métriques de biais dans les résultats comme une discipline continue plutôt que comme une simple étape de validation ponctuelle.
Il s'agit d'un problème de maîtrise, et c'est exactement le type de problème que les praticiens du Lean Six Sigma résolvent avec des cartes de contrôle depuis des décennies.
La dérive des données et la dérive de concept sont deux nouvelles sources de variation pour cause spéciale
Dans un procédé de fabrication, la variabilité provient des machines, des matières, des méthodes et de la main-d'œuvre. Dans un modèle déployé, la variabilité provient des données qui l'alimentent.
Un responsable qualité effectuant une analyse des causes racines sur un modèle dégradé doit séparer ces décalages côté entrées (dérive des données) des cas où la relation entre les entrées et la sortie correcte elle-même a changé (dérive du concept). Les deux constituent de la variabilité de procédé. Aucune des deux n'apparaît lors d'une revue de code.
Le fonctionnement : Ligne centrale, limites de contrôle et règles de Western Electric
Une carte de contrôle appliquée à une métrique de modèle fonctionne de la même manière que sur une ligne de production.
Appliquées à la précision quotidienne ou au taux d'erreur d'un modèle, ces règles détectent une dégradation progressive qu'un simple seuil de précision manquerait.
Un cas clinique méritant attention
Un cadre évalué par des pairs en 2024 et conçu pour les systèmes d'IA radiologiques montre ce à quoi cela ressemble en pratique. Les chercheurs ont combiné la SPC avec le machine learning pour détecter
Il s'agit d'un problème de longueur moyenne de série (ARL), la même métrique utilisée pour juger de la rapidité avec laquelle une carte de contrôle traditionnelle signale un procédé qui a dérivé.
Les cartes optimisées par le Machine Learning commencent à remplacer les simples seuils
La SPC appliquée à la dérive du ML n'est pas non plus statique.
, en évaluant la performance par la longueur moyenne de série. Cela importe pour les praticiens qui doivent choisir entre une approche standard de capabilité de procédé et une approche plus adaptative, un exercice en rien différent des décisions de choix d'outils enseignées dans n'importe quel module de choix d'outils Lean Six Sigma. Un article plus récent de 2025 sur les limites de contrôle rééchantillonnées par bootstrap pour la dérive de concept pousse cela plus loin, en construisant des cartes de contrôle spécifiquement autour des scores de prédiction des modèles plutôt que sur les statistiques brutes des caractéristiques, ce qui évite le problème de fausse alerte que les seuils Sigma simples créent lorsque les données ne suivent pas une loi normale.
Intégrer la surveillance des modèles dans un plan de contrôle DMAIC
Rien de tout cela ne remplace la discipline du DMAIC. Un programme de surveillance de modèle gagne sa place dans la phase Control de la même manière que n'importe quel procédé stabilisé : définir la métrique (précision, taux d'erreur, moyenne ou proportion d'une caractéristique), fixer les limites à partir d'une période de référence stable, et attribuer la responsabilité des investigations en cas de dépassement. L'équipe d'ingénierie de Databricks, décrivant les pipelines de ML en production, le formule clairement :
, ce qui est une description de gouvernance de ce qu'un Black Belt appellerait exactement le passage de la mesure au contrôle.
À qui appartient la carte une fois le modèle déployé
Quelqu'un doit être propriétaire de l'investigation sur le dépassement de limite, et cette question de responsabilité est l'endroit où la plupart des programmes de surveillance de modèles échouent en silence. Un Black Belt sait déjà comment rédiger un parcours d'escalade pour un signal hors contrôle sur une pièce usinée ; la même compétence se transfère à une carte de précision de modèle, à condition que l'équipe de science des données documente le comportement de référence suffisamment clairement pour qu'une personne extérieure à l'équipe de construction du modèle puisse le lire. Le parrainage de la direction compte particulièrement ici, car les alertes de dérive de modèle sont faciles à rejeter comme du bruit jusqu'à ce qu'une décision de crédit, de fraude ou clinique ne tourne mal en production. Intégrer cette responsabilité dans une charte de projet, avec un Process Owner désigné et un seuil de réponse documenté, relève de la pratique DMAIC standard appliquée à un type de processus plus récent.
Sources
- Databricks (2019), Mettre l'apprentissage automatique en production : du déploiement à la détection de dérive : https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC : https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control : https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions : https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts : https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview : https://janusassociates.com/resources/nist-ai-risk-management-framework/
