Makine öğrenimi modelleri geleneksel yazılımların arızalandığı şekilde arızalanmaz. Özel durum hatası (exception) vermezler ya da çökmezler. Temeldeki doğruluk sessizce erirken, tahminler üretmeye ve bu tahminler makul görünmeye devam eder. McKinsey'nin yapay zeka risk uygulamalarına ilişkin bir incelemesi, üretimdeki model izlemenin tek seferlik bir doğrulama adımı olmaktan ziyade sürekli bir disiplin olarak veri kaymasını, model metriklerini ve sonuçlardaki sapma metriklerini takip etmesi gerektiğini belirtiyor.
Bu bir kontrol sorunudur ve tam da Lean Six Sigma uygulayıcılarının onlarca yıldır kontrol grafikleriyle çözdüğü türden bir sorundur.
Veri Kayması ve Kavram Kayması, Özel Sebepli Varyasyonun İki Yeni Kaynağıdır
Bir üretim sürecinde değişkenlik makinelerden, malzemelerden, yöntemlerden ve insanlardan kaynaklanır. Dağıtımı yapılmış bir modelde ise değişkenlik onu besleyen verilerden gelir.
Performansı düşmüş bir model üzerinde kök neden analizi yapan bir kalite yöneticisi, bu girdi tarafındaki kaymaları (veri kayması), girdiler ile doğru çıktı arasındaki ilişkinin kendisinin değiştiği durumlardan (kavram kayması) ayırmalıdır. Her ikisi de süreç değişkenliğidir. Hiçbiri kod incelemesinde ortaya çıkmaz.
Mekanik: Merkez Çizgisi, Kontrol Limitleri ve Western Electric Kuralları
Bir model metriğine uygulanan bir kontrol grafiği, üretim hattında nasıl çalışıyorsa aynı şekilde çalışır.
Bir modelin günlük doğruluğuna veya hata oranına uygulandığında bu kurallar, basit bir doğruluk eşiğinin gözden kaçıracağı kademeli performans düşüşlerini yakalar.
İncelenmeye Değer Klinik Bir Vaka
Radyolojik YZ sistemleri için geliştirilen 2024 tarihli hakemli bir çerçeve, bunun uygulamada nasıl göründüğünü gösteriyor. Araştırmacılar,
'yi yakalamak için SPC ile makine öğrenimini birleştirdi. Bu bir ortalama çalışma uzunluğu (average run length) sorunudur; geleneksel bir kontrol grafiğinin kaymış bir süreci ne kadar hızlı işaretlediğini değerlendirmek için kullanılan metriğin aynısıdır.
Makine Öğrenmesi ile Geliştirilmiş Grafikler Basit Eşiklerin Yerini almaya Başlıyor
Makine öğrenimi kayması için SPC de sabit kalmıyor.
, performansı ortalama çalışma uzunluğuna göre değerlendiriyor. Bu durum, standart bir süreç yeterliliği yaklaşımı ile daha uyarlanabilir bir şey arasında seçim yapan uygulayıcılar için önemlidir; bu çalışma, herhangi bir Lean Six Sigma araç seçimi modülünde öğretilen araç seçim kararlarından farksızdır. Kavram kayması için önceden örneklenmiş (bootstrapped) kontrol sınırlarına ilişkin daha yeni 2025 tarihli bir makale bunu daha da ileriye taşıyarak, ham nitelik istatistikleri yerine doğrudan model tahmin puanları etrafında kontrol grafikleri oluşturuyor; bu da veri normal dağılmadığında yalın Sigma eşiklerinin oluşturduğu yanlış alarm sorununu önlüyor.
Model İzlemeyi DMAIC Kontrol Planına Entegre Etmek
Bunların hiçbiri DMAIC disiplininin yerini almaz. Bir model izleme programı, Kontrol aşamasındaki yerini tıpkı stabilize edilmiş herhangi bir sürecin yaptığı gibi kazanır: metriği tanımlayın (doğruluk, hata oranı, bir niteliğin ortalaması veya oranı), kararlı bir temel dönemden sınırlar belirleyin ve ihlalleri incelemek için sorumluluk atayın. Databricks mühendislik ekibi, canlıdaki makine öğrenimi hatlarını tanımlarken bunu açıkça ifade ediyor:
, bu da tam olarak bir Black Belt'in ölçümden kontrole geçiş olarak adlandıracağı şeyin bir yönetişim tanımıdır.
Model Canlıya Alındıktan Sonra Grafiğin Sahibi Kimdir?
İhlal incelemesini birinin üstlenmesi gerekir ve bu sahiplenme sorusu, çoğu model izleme programının sessizce başarısız olduğu yerdir. Bir Black Belt, işlenmiş bir parçadaki kontrol dışı bir sinyal için tırmandırma yolunu nasıl yazacağını zaten bilir; veri bilimi ekibi temel davranışı model kurma ekibinin dışındaki birinin okuyabileceği kadar net belgelediği sürece, aynı beceri bir model doğruluk grafiğine de aktarılır. Liderlik sponsorluğu burada özellikle önemlidir çünkü model kayması uyarıları, canlıda bir kredi, dolandırıcılık veya klinik karar yanlış gidene kadar gürültü olarak göz ardı edilmeye uygundur. Bu sahiplenmeyi, atanmış bir süreç sahibi ve belgelenmiş bir yanıt eşiği ile bir proje sözleşmesine dahil etmek, daha yeni bir proses türüne uygulanan standart DMAIC uygulamasıdır.
Kaynaklar
- Databricks (2019), Productionizing Machine Learning: From Deployment to Drift Detection: https://www.databricks.com/blog/2019/09/18/productionizing-machine-learning-from-deployment-to-drift-detection.html
- Zamzmi, G. ve ark. (2024/2025), Out-of-Distribution Detection and Radiological Data Monitoring Using Statistical Process Control, PMC: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11950585/
- arXiv (2024), Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control: https://arxiv.org/abs/2402.08088
- arXiv (2025), A Review of Artificial Intelligence Impacting Statistical Process Monitoring and Future Directions: https://arxiv.org/pdf/2503.01858
- arXiv (2025), Bootstrapped Control Limits for Score-Based Concept Drift Control Charts: https://arxiv.org/pdf/2507.16749
- JANUS Associates, NIST.AI.100-1 AI Risk Management Framework overview: https://janusassociates.com/resources/nist-ai-risk-management-framework/
