Spark ile kirli veriyi analize hazır hale getir
Spark ile büyük veri temizleme ve hazırlığı öğreten orta seviye eğitim: veri profilleme ve şema doğrulama, eksik değer stratejileri ve Imputer, tekilleştirme, IQR/z-score ile aykırı değer, metin/tarih standartlaştırma, kural tabanlı doğrulama, karantina ve ye…
Spark ile temizleme, eksik/aykırı değer ve veri hazırlığı
Bu orta seviye eğitim, büyük veri setlerinin Spark ile temizlenmesi ve hazırlanmasına odaklanır. Veri profilleme (describe, summary, null sayımı), şema doğrulama ve tip dönüşümleri işlenir. Eksik değer stratejileri (na.drop/na.fill, Imputer), tekilleştirme (dropDuplicates), aykırı değer tespiti (IQR, z-score) ve yönetimi uygulanır. Metin standartlaştırma (trim, lower, regexp_replace), tarih/saat ayrıştırma, kategorik düzeltme ve birleştirme (join ile referans veri) ele alınır. Veri doğrulama kuralları, kalite metrikleri, bozuk kayıtların karantinası ve yeniden kullanılabilir temizleme pipeline'ı gösterilir. Katılımcılar gerçek, kirli bir veri setini Spark ile uçtan uca temizleyip analiz/ML için hazır hale getirir.
3 Gün. Her gün dört modül; katılımcılar profillemeden temizlemeye ve yeniden kullanılabilir hazırlık pipeline'ına ilerler.
Orta Seviye — Spark ile büyük veri setlerinde temizleme, eksik/aykırı değer yönetimi ve analiz/ML için veri hazırlığının ele alınması.
Katılımcılar kirli gerçek veri setleri üzerinde Spark ile temizleme adımlarını yazıp kalite metrikleriyle doğrulayarak öğrenir.
Spark ile ölçekli biçimde kirli veriyi tutarlı hale getirirsiniz.
Eksik ve aykırı değerleri doğru stratejilerle yönetirsiniz.
Temizlemeyi tekrarlanabilir bir pipeline'a dönüştürürsünüz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Spark DataFrame ve PySpark temeline aşinalık beklenir.
Temel SQL ve Python bilgisi faydalıdır.
Veri kalitesi kavramlarına aşinalık yararlıdır.
Spark çalıştırabilen bir ortam veya bulut kümesi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Spark ile veriyi profilleyip kaliteyi değerlendirirsiniz.
Şemayı doğrular ve bozuk kayıtları yakalarsınız.
na.fill/drop ve Imputer ile eksikleri yönetirsiniz.
Anahtar ve pencereyle tekrarları temizlersiniz.
IQR/z-score ile aykırıları tespit edip yönetirsiniz.
Metin, tarih ve kategorik değerleri standartlaştırırsınız.
Kural tabanlı doğrulama ve karantina kurarsınız.
Temizlemeyi tekrarlanabilir bir pipeline'a dönüştürürsünüz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Spark temelleri: mimari, driver/executor, DAG, RDD ve DataFrame ile ilk dağıtık veri işleme işlerini sıfırdan uygulamalı öğrenin.
Detayları Gör →
Spark yönetimi: standalone/YARN/Kubernetes dağıtım, executor/driver kaynak ayarı, dinamik tahsis, Spark UI ve History Server'ı öğrenin.
Detayları Gör →
APMG EBDP çerçevesiyle büyük veri stratejisi, veri bilimi süreci, mimari seçimi, yönetişim ve etik konularını vaka temelli öğrenin.
Detayları Gör →
HDFS, YARN, MapReduce ve Spark'tan Hive, Sqoop ve Kafka'ya Hadoop ekosistemini gerçek kümede uçtan uca öğrenin. İleri seviye büyük veri eğitimi.
Detayları Gör →
Büyük verinin 5V özelliklerinden dağıtık depolama, batch/stream işleme ve Hadoop/Spark ekosistemine temel seviye kapsamlı giriş. DVA büyük veri eğitimi.
Detayları Gör →