Veri Ön İşleme ve Temizleme Eğitimi

Eğitim Hakkında

Bu eğitim, analiz ve makine öğrenmesi projelerinde zamanın büyük kısmını alan veri hazırlama işini sistematik, ölçülebilir ve tekrarlanabilir hale getirmek isteyen ekipler için tasarlanmış uygulamalı bir programdır. Katılımcılar Python ile veri profili çıkarma, eksik veri ve aykırı değer yönetimi, kayıt eşleştirme, dönüştürme ve otomatik veri doğrulama hatları kurmayı öğrenir.

Neden Bu Eğitim?

Sistematik Yaklaşım. Veriyi tek seferlik düzeltmek yerine ölçülebilir kalite kurallarıyla sürekli temiz tutan bir yöntem edinin.

İstatistiksel Doğruluk. Eksik veri ve aykırı değerlere körü körüne müdahale yerine, sonuçları bozmayan doğru teknikleri seçin.

Otomatik Doğrulama. Pandera ve Great Expectations ile hatalı verinin raporlara ve modellere ulaşmasını baştan engelleyin.

“En gelişmiş model bile beslendiği verinin kalitesini aşamaz; güvenilir kararlar, özenle hazırlanmış veriyle başlar.”

Ön Koşullar

pandas Deneyimi — DataFrame üzerinde seçme, filtreleme, groupby ve merge işlemlerini rahatça yapabilmek.
Temel İstatistik — Dağılım, varyans, çeyrekler ve korelasyon gibi betimsel istatistik kavramlarını bilmek.
SQL Aşinalığı — Kaynak sistemlerden veri çekmek için temel SELECT, JOIN ve GROUP BY sorgularını tanımak.
Çalışma Ortamı — Python 3 ve Jupyter kurulu, paket yükleme yetkisi olan bilgisayar veya bulut not defteri.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiVeri kalitesi boyutlarını tanımak, veri profili çıkararak sorunları ölçmek, eksik veri mekanizmalarına uygun yöntem seçmek ve aykırı değerleri doğru yönetmek.

Modül 1

Veri Kalitesi Boyutları ve Kök Nedenler

Doğruluk, bütünlük, tutarlılık, güncellik ve teklik
Kaynak sistem, entegrasyon ve manuel girişten doğan hatalar
Veri kalitesinin analiz ve model sonuçlarına etkisi
Veri sözlüğü ve iş kurallarının belgelenmesi
Kalite metrikleri ve eşiklerinin tanımlanması
Vaka: Hatalı müşteri verisinin kampanya sonuçlarına etkisi

Modül 2

Otomatik Veri Profilleme

info(), describe() ve nunique() ile hızlı tarama
ydata-profiling ile otomatik profil raporu üretimi
Kardinalite, sıfır oranı ve sabit sütun tespiti
Değişkenler arası tutarlılık ve iş kuralı ihlalleri
Kaynaklar arası şema ve tip uyumsuzlukları
Laboratuvar: Kirli CRM verisinin profil raporu

Modül 3

Eksik Veri Mekanizmaları ve Doldurma

MCAR, MAR ve MNAR eksiklik mekanizmaları
missingno ile eksiklik desenlerinin görselleştirilmesi
Silme, sabit değer, medyan ve grup bazlı doldurma
KNNImputer ve IterativeImputer ile çok değişkenli doldurma
Eksiklik göstergesi sütunları ve bilgi kaybının önlenmesi
Laboratuvar: Doldurma yöntemlerinin etkisinin kıyası

Modül 4

Aykırı Değer Tespiti ve Yönetimi

Hata kaynaklı ve gerçek uç değer ayrımı
Z-skoru, IQR ve robust MAD yöntemleri
Isolation Forest ile çok değişkenli aykırılık
Kırpma (winsorizing), dönüştürme ve işaretleme
Alan uzmanıyla doğrulama ve karar kaydı tutma
Günün değerlendirmesi ve dönüştürme gününe köprü

Günün hedefiMetin, tarih ve kategori verisini standartlaştırmak, yinelenen kayıtları eşleştirmek, modele hazır dönüşümleri sızıntısız kurmak ve otomatik doğrulama hattı oluşturmak.

Modül 1

Metin, Tarih ve Kategori Standardizasyonu

Türkçe karakter, büyük-küçük harf ve Unicode normalizasyonu
Düzenli ifadelerle telefon, e-posta ve kimlik formatı
Farklı tarih formatları ve saat dilimi dönüşümleri
Adres ve unvan alanlarında sözlük tabanlı eşleme
Kategori birleştirme ve nadir sınıfların gruplanması
Uygulama: Şube ve ürün adlarının standartlaştırılması

Modül 2

Yinelenen Kayıtlar ve Kayıt Eşleştirme

Tam ve bulanık (fuzzy) yinelenen kayıt ayrımı
RapidFuzz ile metin benzerliği skorları
Bloklama ile büyük veride eşleştirme maliyeti
recordlinkage kütüphanesiyle kayıt bağlama
Eşleşen kayıtlardan tek bir ana kayıt oluşturma
Laboratuvar: İki sistemdeki müşteri kayıtlarını eşleme

Modül 3

Modele Hazır Dönüşümler ve Veri Sızıntısı

Ölçekleme: StandardScaler, MinMaxScaler, RobustScaler
Log ve Yeo-Johnson ile çarpık dağılım dönüşümü
One-hot ve ordinal kodlama yaklaşımları
ColumnTransformer ve Pipeline ile tek akış
Eğitim-test ayrımı öncesi işlemlerde veri sızıntısı
Laboratuvar: scikit-learn ön işleme hattı kurulumu

Modül 4

Veri Doğrulama Hattı Projesi ve Kapanış

Pandera ile şema ve iş kuralı tanımlama
Great Expectations ile beklenti setleri ve raporlar
KVKK kapsamında maskeleme ve anonimleştirme
Proje: Ham veriden doğrulanmış temiz veri hattı
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar dosyalarının teslimi

Eğitim Kazanımları

Kalite Ölçümü — Doğruluk, bütünlük, tutarlılık ve teklik boyutlarında veri kalitesi metrikleri tanımlayıp ölçebileceksiniz.
Veri Profilleme — ydata-profiling ve pandas araçlarıyla veri setlerinin sorunlarını dakikalar içinde raporlayabileceksiniz.
Eksik Veri Yönetimi — Eksiklik mekanizmasını teşhis ederek KNN ve iteratif doldurma dahil en uygun yöntemi seçebileceksiniz.
Aykırı Değerler — IQR, robust istatistikler ve Isolation Forest ile uç değerleri tespit edip gerekçeli biçimde yönetebileceksiniz.
Standartlaştırma — Türkçe metin, tarih, telefon ve kategori alanlarını düzenli ifadeler ve eşleme tablolarıyla standart hale getirebileceksiniz.
Kayıt Eşleştirme — Bulanık eşleştirme ve bloklama teknikleriyle farklı sistemlerdeki yinelenen kayıtları birleştirebileceksiniz.
Sızıntısız Dönüşüm — ColumnTransformer ve Pipeline ile veri sızıntısına yol açmayan, modele hazır ön işleme akışları kurabileceksiniz.
Otomatik Doğrulama — Pandera ve Great Expectations ile hatalı veriyi kaynağında yakalayan bir doğrulama hattı oluşturacaksınız.

Kimler İçin Uygundur?

Veri analistleri
veri bilimciler
iş zekası geliştiricileri
veri kalitesi ve ana veri yönetimi uzmanları ile model öncesi veri hazırlayan analitik ekipler.

Sıkça Sorulan Sorular

Veri Ön İşleme ve Temizleme Eğitimi kimler için uygundur?

Program; veri analistleri, veri bilimciler, iş zekası geliştiricileri, veri kalitesi ve ana veri yönetimi uzmanları ile analiz veya model öncesi veri hazırlayan ekipler için tasarlanmıştır.

Eğitim ne kadar sürer ve hangi konuları kapsar?

Eğitim 2 tam gün ve 8 modülden oluşur. İlk gün veri kalitesi, profilleme, eksik veri ve aykırı değerler; ikinci gün standardizasyon, kayıt eşleştirme, dönüşüm hatları ve doğrulama işlenir.

Pandas ile Veri Analizi Eğitimi'nden farkı nedir?

Pandas eğitimi kütüphanenin temel kullanımını öğretir; bu program ise pandas bilen katılımcılara veri kalitesi ölçümü, istatistiksel doldurma, bulanık eşleştirme ve otomatik doğrulama gibi ileri hazırlık tekniklerini kazandırır.

Eğitimde hangi kütüphaneler kullanılıyor?

pandas, scikit-learn, ydata-profiling, missingno, RapidFuzz, recordlinkage, Pandera ve Great Expectations kullanılır. Laboratuvarlar kasıtlı olarak bozulmuş gerçekçi veri setleriyle Jupyter üzerinde yürütülür.

Katılımcılar sertifika alıyor mu, içerik uyarlanabilir mi?

Programı tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır. Kapalı kurum gruplarında laboratuvarlar kurumun veri kalitesi sorunlarını yansıtan anonim örneklerle uyarlanabilir.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

VERİ ÖN İŞLEME VE TEMİZLEME EĞİTİMİ