Os modelos de machine learning não falham da mesma forma que o software tradicional. Não lançam exceções nem bloqueiam. Continuam a produzir previsões e as previsões continuam a parecer plausíveis, enquanto a precisão subjacente se degrada silenciosamente. Uma análise da McKinsey sobre a prática de risco em IA refere que a monitorização de modelos em produção precisa de acompanhar a data drift, as métricas do modelo e as métricas de viés nos resultados como uma disciplina contínua e não como uma etapa de validação pontual.
Este é um problema de controlo e é exatamente o tipo de problema que os profissionais de Lean Six Sigma têm vindo a resolver com cartas de controlo há décadas.
Data Drift and Concept Drift Are Two New Sources of Special-Cause Variation
Num processo de fabrico, a variação provém de máquinas, materiais, métodos e pessoas. Num modelo implementado, a variação provém dos dados que o alimentam.
Um gestor da qualidade que realize uma análise da causa raiz num modelo degradado precisa de separar estas alterações do lado dos dados de entrada (data drift) dos casos em que a própria relação entre as entradas e a saída correta mudou (concept drift). Ambas são variações do processo. Nenhuma delas surge numa revisão de código.
The Mechanics: Center Line, Control Limits, and the Western Electric Rules
Uma carta de controlo aplicada a uma métrica de um modelo funciona da mesma forma que numa linha de produção.
Aplicadas à taxa de erro ou à precisão diária de um modelo, estas regras detetam a degradação gradual que um simples limite de precisão falharia.
A Clinical Case Worth Studying
Uma estrutura de 2024 revista por pares, desenvolvida para sistemas de IA radiológicos, mostra como isto funciona na prática. Os investigadores combinaram SPC com machine learning para detetar
Esse é um problema de comprimento médio de corrida (average run length), a mesma métrica utilizada para avaliar a rapidez com que uma carta de controlo tradicional assinala um processo alterado.
Machine-Learning-Enhanced Charts Are Starting to Replace Simple Thresholds
O SPC para a desvio (drift) em ML também não está estático.
, avaliando o desempenho pelo comprimento médio de corrida. Isto é importante para os profissionais que escolhem entre uma abordagem standard de capacidade do processo e algo mais adaptativo, um exercício em nada diferente das decisões de seleção de ferramentas ensinadas em qualquer módulo de seleção de ferramentas Lean Six Sigma. Um artigo mais recente de 2025 sobre limites de controlo baseados em bootstrap para concept drift alarga ainda mais este conceito, construindo cartas de controlo especificamente em torno das pontuações de previsão do modelo em vez de estatísticas de características brutas, o que evita o problema dos falsos alarmes que os limites sigma simples criam quando os dados não estão distribuídos normalmente.
Folding Model Monitoring into a DMAIC Control Plan
Nada disto substitui a disciplina do DMAIC. Um programa de monitorização de modelos ganha o seu lugar na fase de Controlo da mesma forma que qualquer processo estabilizado: definir a métrica (precisão, taxa de erro, média ou proporção de uma característica), estabelecer limites a partir de um período de referência estável e atribuir a responsabilidade pela investigação de desvios. A equipa de engenharia da Databricks, ao descrever pipelines de ML em produção, afirma claramente:
, o que é uma descrição de governação de exatamente aquilo a que um Black Belt chamaria a transição da medição para o controlo.
Who Owns the Chart Once the Model Ships
Alguém tem de ser o responsável pela investigação do desvio, e essa questão de responsabilidade é onde a maioria dos programas de monitorização de modelos falha silenciosamente. Um Black Belt já sabe como escrever um plano de escalamento para um sinal fora de controlo numa peça maquinada; a mesma competência transfere-se para um gráfico de precisão do modelo, desde que a equipa de ciência de dados documente o comportamento da linha de base de forma suficientemente clara para que alguém fora da equipa de construção do modelo o consiga ler. O patrocínio da liderança é especialmente importante aqui porque os alertas de desvio do modelo são fáceis de descartar como ruído até que uma decisão de crédito, fraude ou clínica corra mal em produção. Integrar essa responsabilidade num termo de abertura do projeto, com um responsável pelo processo nomeado e um limiar de resposta documentado, é uma prática DMAIC padrão aplicada a um novo tipo de processo.
Fontes
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. et al. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview: https://janusassociates.com/resources/nist-ai-risk-management-framework/
