Model Değerlendirme ve Doğrulama Eğitimi

Eğitim Hakkında

Bu eğitim, makine öğrenmesi modellerinin başarısını iş hedefiyle uyumlu metriklerle ölçmek, veri sızıntısı ve yanıltıcı sonuçlardan kaçınan doğrulama düzenleri kurmak ve modelleri bağımsız olarak doğrulamak için tasarlanmış uygulamalı bir programdır. Katılımcılar kalibrasyon, hata analizi, sağlamlık testleri ve model dokümantasyonunu vakalarla uygular.

Neden Bu Eğitim?

Doğru Metrik. Doğruluk metriğinin yanılttığı durumları tanıyın ve iş maliyetini yansıtan değerlendirme ölçütleri seçin.

Sızıntıya Karşı Koruma. Test başarısını yapay olarak şişiren veri sızıntısı ve hatalı ayrım düzenlerini tespit etmeyi öğrenin.

Denetime Hazır Modeller. Bağımsız doğrulama, model kartı ve izleme planıyla düzenleyici ve iç denetim beklentilerini karşılayın.

“Bir modelin değeri test kümesindeki skorla değil, gerçek dünyada ne kadar güvenilir kaldığının dürüstçe ölçülmesiyle belirlenir.”

Ön Koşullar

Model Kurma Deneyimi — scikit-learn ile en az bir sınıflandırma veya regresyon modeli kurmuş olmak.
Python ve pandas — pandas ile veri hazırlama ve Matplotlib ile temel grafik çizebilmek.
İstatistik Bilgisi — Olasılık, dağılım, güven aralığı ve hipotez testi kavramlarına aşinalık.
Çalışma Ortamı — Python 3, scikit-learn ve Jupyter kurulu bir bilgisayar veya bulut not defteri.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiRegresyon ve sınıflandırma metriklerini iş hedefiyle ilişkilendirmek, olasılık kalibrasyonunu değerlendirmek ve sızıntısız doğrulama düzeni kurmak.

Modül 1

Değerlendirmenin İş Boyutu

Model metriği ile iş metriği arasındaki bağ
Hata türlerinin maliyeti ve maliyet matrisi
Referans model ve basit kural ile karşılaştırma
Çevrim dışı değerlendirme ile canlı başarı farkı
Değerlendirme planının proje başında yazılması
Vaka: Yüksek doğruluklu ama değersiz bir model

Modül 2

Sınıflandırma ve Regresyon Metrikleri

Kesinlik, duyarlılık, F1 ve F-beta skorları
ROC-AUC ile PR-AUC seçimi ve dengesiz veri
Log kaybı ve Brier skoru ile olasılık kalitesi
MAE, RMSE, MAPE ve sMAPE metriklerinin tuzakları
Sıralama metrikleri: precision@k ve lift eğrisi
Laboratuvar: Aynı modelin farklı metriklerle okunması

Modül 3

Kalibrasyon ve Karar Eşiği

Kalibrasyon eğrisi ve güvenilirlik diyagramı
Platt ölçekleme ve izotonik regresyon
CalibratedClassifierCV ile kalibrasyon uygulaması
Beklenen maliyeti en aza indiren eşik seçimi
TunedThresholdClassifierCV ile eşik ayarı
Laboratuvar: Risk skorlarının kalibre edilmesi

Modül 4

Doğrulama Düzeni ve Veri Sızıntısı

Holdout, k-katlı ve tabakalı doğrulamanın seçimi
Zamana ve gruba dayalı ayrımın gerekliliği
Hedef sızıntısı ve ön işleme kaynaklı sızıntı
Pipeline ile sızıntısız ön işleme düzeni
Test kümesinin tekrar tekrar kullanılması riski
Günün değerlendirmesi ve doğrulama gününe köprü

Günün hedefiModel karşılaştırmalarını istatistiksel olarak sınamak, hata analizi ve sağlamlık testleri yapmak, bağımsız doğrulama raporu ve izleme planı hazırlamak.

Modül 1

İstatistiksel Model Karşılaştırması

Bootstrap ile metrikler için güven aralığı
McNemar testi ile iki sınıflandırıcının karşılaştırılması
Çapraz doğrulama skorlarında varyans ve belirsizlik
Küçük farkların pratik ve istatistiksel anlamı
Çoklu karşılaştırma ve seçim yanlılığı riski
Laboratuvar: İki modelin anlamlılık analizi

Modül 2

Hata Analizi ve Sağlamlık Testleri

Alt grup (dilim) bazında performans analizi
Hatalı tahminlerin sistematik incelenmesi
Gürültü, eksik veri ve dağılım kaymasına dayanıklılık
Alt gruplar arası adalet metriklerinin karşılaştırılması
Açıklanabilirlik ile beklenmedik değişken etkileri
Laboratuvar: Kredi modelinde dilim bazlı hata analizi

Modül 3

Model Riski ve Bağımsız Doğrulama

Model riski yönetimi ve üç savunma hattı yaklaşımı
Kavramsal sağlamlık, veri ve uygulama doğrulaması
Model kartları ile standart model dokümantasyonu
EU AI Act yüksek risk sistemlerinde doğruluk şartı
Üretken YZ modellerinin değerlendirilmesine giriş
Atölye: Bağımsız doğrulama raporu şablonu

Modül 4

Canlı İzleme Planı ve Kapanış

Veri kayması, PSI ve performans düşüşü göstergeleri
Evidently ile izleme raporu ve eşik alarmları
Vaka: Doğrulama bulgusuyla modelin yeniden eğitimi
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve şablonların paylaşılması
İleri öğrenme: hiperparametre ayarı ve MLOps

Eğitim Kazanımları

Metrik Seçimi — İş hedefini ve hata maliyetlerini yansıtan doğru sınıflandırma, regresyon ve sıralama metriklerini seçebileceksiniz.
Kalibrasyon — Olasılık tahminlerinin güvenilirliğini ölçüp Platt veya izotonik yöntemlerle kalibre edebileceksiniz.
Eşik Optimizasyonu — Beklenen maliyeti en aza indiren karar eşiğini veriye dayalı ve gerekçeli biçimde belirleyebileceksiniz.
Sızıntı Tespiti — Hedef ve ön işleme kaynaklı veri sızıntılarını fark edip zamana ve gruba uygun doğrulama kurabileceksiniz.
İstatistiksel Sınama — Bootstrap güven aralıkları ve McNemar testiyle model farklarının anlamlılığını sınayabileceksiniz.
Hata Analizi — Dilim bazlı performans, sağlamlık ve adalet analizleriyle modelin zayıf noktalarını ortaya çıkarabileceksiniz.
Bağımsız Doğrulama — Model kartı ve doğrulama raporuyla denetim ve model riski beklentilerini karşılayan belgeler hazırlayabileceksiniz.
Canlı İzleme — Veri kayması ve performans düşüşünü yakalayan eşikli bir izleme planını modelinize ekleyeceksiniz.

Kimler İçin Uygundur?

Veri bilimciler
makine öğrenmesi mühendisleri
model doğrulama ve model riski ekipleri
iç denetim analistleri ile modelleri üretime alma kararı veren analitik liderler.

Sıkça Sorulan Sorular

Model Değerlendirme ve Doğrulama Eğitimi kimler için uygundur?

Program; veri bilimciler, makine öğrenmesi mühendisleri, model doğrulama ve model riski ekipleri, iç denetim analistleri ile modellerin üretime alınmasına karar veren analitik liderler için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl yapılandırılmıştır?

Eğitim 2 tam gün ve 8 modülden oluşur. İlk gün metrikler, kalibrasyon ve sızıntısız doğrulama tasarımı; ikinci gün istatistiksel karşılaştırma, hata analizi, bağımsız doğrulama ve izleme işlenir.

Katılım için hangi bilgiler gerekiyor?

scikit-learn ile model kurma deneyimi, pandas ile veri hazırlama ve güven aralığı ile hipotez testi gibi temel istatistik kavramlarına aşinalık beklenir.

Bu eğitim Çapraz Doğrulama ve Hiperparametre Ayarı Eğitiminden nasıl ayrılır?

Bu program modelin başarısını doğru ölçmeye, kalibrasyona, hata analizine ve bağımsız doğrulamaya odaklanır. Çapraz doğrulama eğitimi ise doğrulama stratejileri ve hiperparametre optimizasyonunu derinlemesine işler.

Eğitim sonunda sertifika ve materyal veriliyor mu?

Evet. Programı tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır; laboratuvar not defterleri, model kartı ve bağımsız doğrulama raporu şablonları paylaşılır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

MODEL DEĞERLENDİRME VE DOĞRULAMA EĞİTİMİ