Hive sorgularını hızlandırın ve sorunları çözün
Hive'da map/bucket/SMB join stratejileri, partitioning ve pruning, bucketing, veri çarpıklığı giderme, EXPLAIN plan okuma ve sorgu sorun giderme kapsayan ileri performans eğitimi.
Birleştirme, bölümleme ve sorun giderme odaklı ileri Hive eğitimi
Bu eğitim, Hive'da performanslı birleştirme, doğru bölümleme ve sorgu sorun gidermeyi derinlemesine ele alır. Common/map/bucket/sort-merge-bucket join stratejileri, join sırası ve istatistiklerin rolü, static/dynamic partitioning ve partition pruning, bucketing tasarımı, veri çarpıklığı (data skew) tespiti ve giderimi, EXPLAIN ile sorgu planı okuma, Tez üzerinde vectorization, küçük dosya problemi ve sık görülen hataların kök neden analizi gibi somut konuları kapsar. Katılımcı yavaş sorguları teşhis edip hızlandırır.
3 Gün. Her gün dört modül; her modül anlatım ve Hive üzerinde optimizasyon/teşhis labı içerir.
İleri Seviye — Hive'da birleştirme stratejileri, partitioning/bucketing ve sorgu sorun giderme.
Gerçek yavaş sorgular üzerinde EXPLAIN planlarını okuyup optimizasyon uygulayarak ve sonucu ölçerek öğrenme.
Doğru join ve partition stratejisiyle saatlerce süren sorguları dakikalara indirebilirsiniz.
EXPLAIN planını okuyarak darboğazın kaynağını kesin olarak bulabilirsiniz.
Veri çarpıklığını tespit edip tek reducer'a yığılmayı önlersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
HiveQL ile sorgu yazabilecek düzeyde deneyim gerekir.
JOIN, GROUP BY ve alt sorgulara hakimiyet faydalıdır.
HDFS ve MapReduce/Tez kavramlarına aşinalık avantaj sağlar.
Örnek veri setleri yüklü bir Hive ortamı önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Map, bucket ve SMB join arasından doğru olanı seçebilirsiniz.
İstatistik ve CBO ile sorgu planını iyileştirebilirsiniz.
Partition pruning'den yararlanacak tasarımlar kurabilirsiniz.
Bucketing ile join ve örneklemeyi hızlandırabilirsiniz.
Küçük dosya problemini tespit edip giderebilirsiniz.
EXPLAIN ile darboğazı kesin olarak teşhis edebilirsiniz.
Veri çarpıklığını skew join ve salting ile çözebilirsiniz.
Yaygın Hive hatalarının kök nedenini bulabilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
NiFi yönetimi: zero-master cluster, TLS/politika güvenliği, repository ayarı, NiFi Registry ve izleme/felaket kurtarmayı uygulamalı öğrenin.
Detayları Gör →
Apache Pig Latin ETL ve HiveQL SQL analitiğini birlikte: dönüşüm, JOIN, UDF, bölümleme ve window fonksiyonlarını uygulamalı öğrenin.
Detayları Gör →
Spark'ı bulutta: S3/ADLS/GCS depolama, Delta veri gölü, Spark on Kubernetes, elastik ölçekleme ve maliyet optimizasyonunu uygulamalı öğrenin.
Detayları Gör →
Apache Spark eğitimi: RDD, DataFrame, Spark SQL, Structured Streaming ve Catalyst/shuffle optimizasyonunu uçtan uca uygulamalı öğrenin.
Detayları Gör →
Databricks'te Spark: notebook, DataFrame, Delta Lake (MERGE/time travel), Auto Loader, medallion mimarisi ve Jobs orkestrasyonunu öğrenin.
Detayları Gör →