Modele uczenia maszynowego nie zawodzą tak, jak tradycyjne oprogramowanie. Nie zgłaszają wyjątków ani się nie zawieszają. Nadal generują predykcje, a te predykcje wciąż wyglądają na prawdopodobne, podczas gdy bazowa dokładność po cichu spada. Raport McKinsey na temat praktyk zarządzania ryzykiem AI wskazuje, że monitorowanie modeli w środowisku produkcyjnym wymaga śledzenia dryfu danych, wskaźników modelu i wskaźników stronniczości w wynikach w sposób ciągły, a nie jako jednorazowego kroku walidacyjnego.
To jest problem sterowania – i dokładnie taki rodzaj problemu specjaliści Lean Six Sigma rozwiązują za pomocą kart kontrolnych od dziesięcioleci.
Dryf danych (Data Drift) i dryf pojęciowy (Concept Drift) to dwa nowe źródła zmienności wywołanej przyczynami specjalnymi
W procesie produkcyjnym zmienność wynika z maszyn, materiałów, metod i ludzi. W wdrożonym modelu zmienność wynika z danych, którymi jest zasilany.
Kierownik ds. jakości wykonujący analizę przyczyn źródłowych dla zdegradowanego modelu musi odróżnić przesunięcia po stronie wejścia (dryf danych) od przypadków, w których zmieniła się sama relacja między wejściami a prawidłowym wyjściem (dryf pojęcia). Obie sytuacje stanowią zmienność procesu. Żadna z nich nie ujawni się podczas przeglądu kodu.
Mechanizm: Linia Centralna, Granice Kontrolne i Reguły Western Electric
Karta kontrolna zastosowana do wskaźnika modelu działa tak samo, jak na linii produkcyjnej.
Zastosowane do codziennej dokładności lub poziomu błędów modelu, reguły te wyłapują stopniową degradację, którą zwykły próg dokładności by przeoczył.
Przypadek kliniczny warty przeanalizowania
Sformułowana w 2024 roku, zrecenzowana naukowo koncepcja dla radiologicznych systemów AI pokazuje, jak wygląda to w praktyce. Badacze połączyli SPC z uczeniem maszynowym, aby wykrywać
Jest to problem średniej długości serii (average run length), czyli tego samego wskaźnika, który służy do oceny, jak szybko tradycyjna karta kontrolna sygnalizuje rozregulowany proces.
Karty wspomagane uczeniem maszynowym zaczynają zastępować proste progi
SPC w kontekście dryfu ML również nie stoi w miejscu.
, oceniając wydajność na podstawie średniej długości serii. Ma to znaczenie dla praktyków wybierających między standardowym podejściem do zdolności procesu a czymś bardziej adaptacyjnym — jest to zadanie nieróżniące się od decyzji dotyczących doboru narzędzi nauczanych w każdym module doboru narzędzi Lean Six Sigma. Nowsza publikacja z 2025 roku na temat samowspierających się granic kontrolnych (bootstrapped control limits) dla dryfu pojęcia rozwija to dalej, budując karty kontrolne bezpośrednio wokół wyników predykcji modelu, a nie surowych statystyk cech. Pozwala to uniknąć problemu fałszywych alarmów, które zwykłe progi sigmy generują, gdy dane nie mają rozkładu normalnego.
Włączanie monitorowania modeli do Planu Sterowania DMAIC
Nic z tego nie zastępuje dyscypliny DMAIC. Program monitorowania modelu zasługuje na swoje miejsce w fazie Control dokładnie tak samo, jak każdy ustabilizowany proces: zdefiniuj wskaźnik (dokładność, poziom błędów, średnią lub proporcję cechy), wyznacz granice na podstawie stabilnego okresu odniesienia i przypisz odpowiedzialność za badanie przekroczeń. Zespół inżynieryjny Databricks, opisując produkcyjne potoki ML, ujął to wprost:
, co stanowi ładny opis dokładnie tego, co Black Belt nazwałby przejściem od pomiaru do sterowania.
Kto przejmuje kartę po wdrożeniu modelu
Ktoś musi odpowiadać za badanie przekroczeń granic i to pytanie o odpowiedzialność jest miejscem, w którym większość programów monitorowania modeli po cichu ponosi porażkę. Black Belt wie już, jak opisać ścieżkę eskalacji dla sygnału braku kontroli na obrabianej części; ta sama umiejętność przenosi się na kartę dokładności modelu, pod warunkiem że zespół data science udokumentuje zachowanie bazowe wystarczająco jasno, aby osoba spośród zespołu budującego model mogła je odczytać. Sponsoring ze strony kierownictwa ma tu kluczowe znaczenie, ponieważ alerty o dryfie modelu łatwo zbagatelizować jako szum, dopóki w środowisku produkcyjnym nie zawiedzie decyzja kredytowa, dotycząca nadużycia lub kliniczna. Wbudowanie tej odpowiedzialności w kartę projektu, z wyznaczonym Process Ownerem i udokumentowanym progiem reakcji, to standardowa praktyka DMAIC zastosowana do nowszego rodzaju procesu.
Źródła
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. i in. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 Przegląd Ram Zarządzania Ryzykiem AI: https://janusassociates.com/resources/nist-ai-risk-management-framework/
