ETL hatlarını veriyle kanıtlayarak test edin
Source-to-target doğrulama, reconciliation, veri kalitesi, şema ve SCD testi, incremental yük ve performans testiyle büyük veri ETL hatlarını SQL/PySpark ile test etmeyi öğreten ileri eğitim.
Büyük veri ETL/ELT hatlarının uçtan uca testi
Bu eğitim, büyük veri ETL/ELT hatlarının test edilmesini uçtan uca öğretir. Source-to-target mapping doğrulama, count/row reconciliation, dönüşüm kuralı testi, şema doğrulama ve veri kalitesi kontrolleri işlenir. SQL ve PySpark ile karşılaştırma sorguları, duplicate/null/aykırı değer tespiti, SCD doğrulama, incremental yük testi, idempotency ve geç gelen veri senaryoları uygulamalı ele alınır. Büyük hacimli veride örnekleme, performans/throughput testi, test otomasyonu ve CI entegrasyonu gösterilir.
3 Gün. Her gün dört modül; SQL/PySpark ile doğrulama sorguları yazma ağırlıklı labler.
İleri Seviye — Büyük veri ETL/ELT hatlarında veri doğrulama, reconciliation, şema ve performans testini kapsar.
Gerçek bir ETL hattının kaynak ve hedef verisini karşılaştıran test senaryoları yazarak uygulanır.
Kaynaktan hedefe her satırın doğruluğunu kanıtlanabilir testlerle güvenceye alırsınız.
Count ve checksum uyuşmazlıklarını otomatik yakalayan karşılaştırmalar kurarsınız.
Testleri CI hattına bağlayarak her yüklemede kaliteyi sürekli doğrularsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
JOIN, GROUP BY ve alt sorgularla rahat SQL yazabilmek gerekir.
ETL/ELT adımlarına ve veri ambarına aşinalık beklenir.
PySpark örnekleri için temel Python faydalıdır.
Kaynak veritabanı ve Spark/Hive erişimi olan bir ortam gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Source-to-target eşlemeyi kanıtlanabilir sorgularla doğrularsınız.
Count ve checksum karşılaştırmalarıyla uyuşmazlıkları yakalarsınız.
Null, duplicate ve aykırı değer kurallarını otomatik test edersiniz.
Şema uyumu ve sürüklenmesini sistematik olarak kontrol edersiniz.
Yavaş değişen boyut tarihçesini bütünlükle doğrularsınız.
Artımlı yük, idempotency ve geç veri senaryolarını test edersiniz.
Throughput ve darboğazları ölçerek SLA'yı güvenceye alırsınız.
Testleri CI hattına bağlayıp kalite kapıları kurarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Hadoop MapReduce ile veri filtreleme desenleri: map-only işler, top-N, distinct, Bloom filtresi ve distributed cache. Java ile uygulamalı temel eğitim.
Detayları Gör →
Apache Kafka'nın temelleri: commit log, topic/partition, offset, replication, consumer group, rebalance ve retention. Kavram ve mimari odaklı temel eğitim.
Detayları Gör →
Apache Hive ile büyük veriye SQL: HiveQL sorguları, managed/external tablolar, partition, bucketing ve ORC/Parquet. Uygulamalı temel seviye eğitim.
Detayları Gör →
Apache Spark GraphFrames ile dağıtık graf analitiği: vertex/edge modelleme, motif bulma, PageRank, bağlı bileşenler ve BFS. Uygulamalı ileri seviye eğitim.
Detayları Gör →
Hadoop ve MapReduce'a uygulamalı giriş: HDFS, YARN, map-reduce akışı, ilk WordCount uygulaması ve ekosistem araçları. Başlangıç seviyesi eğitim.
Detayları Gör →