Los modelos de aprendizaje automático no fallan como lo hace el software tradicional. No generan excepciones ni se cuelgan. Siguen produciendo predicciones y estas siguen pareciendo plausibles, mientras la precisión subyacente se erosiona en silencio. Un análisis de McKinsey sobre la gestión de riesgos en IA señala que la monitorización de modelos en producción debe rastrear la desviación de datos, las métricas del modelo y las métricas de sesgo en los resultados como una disciplina continua, en lugar de como un paso de validación puntual.
Se trata de un problema de control, y es exactamente el tipo de problema que los profesionales de Lean Six Sigma llevan décadas resolviendo con gráficos de control.
La desviación de datos y la desviación de concepto son dos nuevas fuentes de variación por causas especiales
En un proceso de fabricación, la variación proviene de las máquinas, los materiales, los métodos y las personas. En un modelo desplegado, la variación proviene de los datos que lo alimentan.
Un responsable de calidad que realice un análisis de causa raíz en un modelo degradado debe separar estos cambios en el lado de la entrada (desviación de datos) de aquellos casos en los que la relación entre las entradas y la salida correcta en sí ha cambiado (desviación de concepto). Ambos son variaciones del proceso. Ninguno de los dos aparece en una revisión de código.
La mecánica: línea central, límites de control y las reglas de Western Electric
Un gráfico de control aplicado a una métrica de modelo funciona de la misma manera que en una línea de producción.
Aplicadas a la precisión o tasa de error diaria de un modelo, estas reglas detectan una degradación gradual que un umbral de precisión simple no identificaría.
Un caso clínico digno de estudio
Un marco de trabajo revisado por pares de 2024, diseñado para sistemas de IA radiológicos, muestra cómo se ve esto en la práctica. Los investigadores combinaron SPC con aprendizaje automático para detectar
Ese es un problema de longitud media de corrida, la misma métrica que se utiliza para evaluar la rapidez con la que un gráfico de control tradicional señala un proceso alterado.
Los gráficos mejorados con aprendizaje automático están comenzando a reemplazar los umbrales simples
El SPC para la desviación en ML tampoco se mantiene estático.
, evaluando el rendimiento mediante la longitud media de corrida. Esto es fundamental para los profesionales que deben elegir entre un enfoque estándar de capacidad del proceso y algo más adaptativo, un ejercicio idéntico a las decisiones de selección de herramientas que se enseñan en cualquier módulo de selección de herramientas Lean Six Sigma. Un artículo más reciente de 2025 sobre límites de control mediante bootstrapping para la desviación de concepto va aún más lejos, construyendo gráficos de control específicos para las puntuaciones de predicción del modelo en lugar de estadísticas de características crudas, lo que evita el problema de falsas alarmas que generan los umbrales estándar de Sigma cuando los datos no siguen una distribución normal.
Integrar el monitoreo de modelos en un plan de control DMAIC
Nada de esto sustituye la disciplina de DMAIC. Un programa de monitorización de modelos se gana su lugar en la fase de Control de la misma manera que cualquier proceso estabilizado: definir la métrica (precisión, tasa de error, la media o proporción de una característica), establecer límites a partir de un periodo de referencia estable y asignar un responsable para investigar las desviaciones. El equipo de ingeniería de Databricks, al describir los pipelines de ML en producción, lo expresa claramente:
, lo cual es una descripción de gobernanza de lo que un Black Belt llamaría pasar de la medición al control.
Quién es el propietario del gráfico una vez que el modelo se lanza
Alguien debe asumir la investigación de las desviaciones, y esa cuestión de titularidad es donde la mayoría de los programas de monitorización de modelos fallan en silencio. Un Black Belt ya sabe cómo redactar una ruta de escalado para una señal fuera de control en una pieza mecanizada; la misma habilidad se transfiere a un gráfico de precisión de un modelo, siempre que el equipo de ciencia de datos documente el comportamiento de referencia de forma lo suficientemente clara como para que alguien ajeno al equipo de desarrollo del modelo pueda leerlo. El patrocinio del liderazgo es importante aquí específicamente porque las alertas de desvío del modelo son fáciles de descartar como ruido hasta que una decisión crediticia, de fraude o clínica sale mal en producción. Integrar esa responsabilidad en el charter del proyecto, con un Process Owner designado y un umbral de respuesta documentado, es una práctica estándar de DMAIC aplicada a un tipo de proceso más nuevo.
Fuentes
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview: https://janusassociates.com/resources/nist-ai-risk-management-framework/
