Los modelos de aprendizaje automático no fallan de la misma manera que el software tradicional. No generan excepciones ni se caen. Siguen produciendo predicciones, y las predicciones siguen pareciendo plausibles, mientras la precisión subyacente se erosiona silenciosamente. Un análisis de McKinsey sobre las prácticas de riesgo en IA señala que el monitoreo de modelos en producción debe rastrear la desviación de datos, las métricas del modelo y las métricas de sesgo en los resultados como una disciplina continua en lugar de un paso de validación puntual.
Ese es un problema de control, y es exactamente el tipo de problema que los profesionales de Lean Six Sigma han estado resolviendo con gráficos de control durante décadas.
La desviación de datos y la desviación de concepto son dos nuevas fuentes de variación por causas especiales
En un proceso de fabricación, la variación proviene de las máquinas, los materiales, los métodos y las personas. En un modelo desplegado, la variación proviene de los datos que lo alimentan.
Un gerente de calidad que realiza análisis de causa raíz en un modelo degradado necesita separar estos cambios en el lado de la entrada (desviación de datos) de los casos en que la relación entre las entradas y la salida correcta en sí ha cambiado (desviación de concepto). Ambas son variaciones del proceso. Ninguna de las dos aparece en una revisión de código.
La mecánica: línea central, límites de control y las reglas de Western Electric
A gráfico de control aplicado a una métrica de modelo funciona de la misma manera que funciona en una línea de producción.
Aplicadas a la precisión diaria o a la tasa de error de un modelo, estas reglas detectan una degradación gradual que un umbral de precisión simple no identificaría.
Un caso clínico digno de estudio
Un marco de trabajo evaluado por pares de 2024 creado para sistemas de IA radiológica muestra cómo se ve esto en la práctica. Los investigadores combinaron SPC con aprendizaje automático para detectar
Ese es un problema de longitud media de corrida (Average Run Length), la misma métrica utilizada para juzgar qué tan rápido un gráfico de control tradicional alerta sobre un proceso desviado.
Los gráficos mejorados con aprendizaje automático están comenzando a reemplazar los umbrales simples
El SPC para la desviación en ML tampoco se mantiene estático.
, evaluando el desempeño según la longitud media de corrida. Esto importa para los profesionales que eligen entre un enfoque capacidad del proceso estándar y algo más adaptativo, un ejercicio que no se diferencia de las decisiones de selección de herramientas que se enseñan en cualquier módulo de selección de herramientas Lean Six Sigma . Un artículo de 2025 más reciente sobre límites de control mediante bootstrap para la desviación de concepto amplía esto aún más, construyendo gráficos de control específicamente alrededor de los puntajes de predicción del modelo en lugar de las estadísticas de variables simples, lo que evita el problema de las falsas alarmas que crean los umbrales sigma comunes cuando los datos no se distribuyen normalmente.
Integrar el monitoreo de modelos en un plan de control DMAIC
Nada de esto reemplaza la disciplina del DMAIC. Un programa de monitoreo de modelos se gana su lugar en la fase de Control de la misma manera que cualquier proceso estabilizado: definir la métrica (precisión, tasa de error, la media o proporción de una variable), establecer límites a partir de un período de referencia estable y asignar la responsabilidad de investigar las desviaciones. El equipo de ingeniería de Databricks, al describir los pipelines de ML en producción, lo expresa claramente:
, lo cual es una descripción de gobernanza de lo que exactamente un Black Belt llamaría pasar de la medición al control.
Quién es el propietario del gráfico una vez que el modelo se lanza
Alguien tiene que asumir la responsabilidad de la investigación de las desviaciones, y esa cuestión de titularidad es donde la mayoría de los programas de monitoreo de modelos fallan silenciosamente. Un Black Belt ya sabe cómo redactar una ruta de escalación para una señal fuera de control en una pieza mecanizada; la misma habilidad se transfiere a un gráfico de precisión de un modelo, siempre que el equipo de ciencia de datos documente el comportamiento de referencia lo suficientemente claro como para que alguien fuera del equipo de desarrollo del modelo pueda leerlo. El patrocinio del liderazgo importa aquí específicamente porque las alertas de desviación del modelo son fáciles de descartar como ruido hasta que una decisión crediticia, de fraude o clínica sale mal en producción. Integrar esa responsabilidad en el acta de constitución del proyecto, con un Process Owner designado y un umbral de respuesta documentado, es una práctica estándar de DMAIC aplicada a un tipo de proceso más nuevo.
Fuentes
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview: https://janusassociates.com/resources/nist-ai-risk-management-framework/
