Yavaş Hive sorgularını köken nedenden hızlandır
Hive sorgu yürütmesinin derinlemesine optimizasyonuna odaklanan ileri seviye eğitim: EXPLAIN/EXPLAIN ANALYZE plan analizi, MapReduce/Tez/LLAP motorları, map-side/bucket/SMB/skew join stratejileri, ORC predicate pushdown ve bloom filter, static/dynamic partiti…
EXPLAIN plan, Tez/LLAP, join optimizasyonu, vectorization ve CBO
Bu ileri seviye eğitim, Hive sorgularının neden yavaş çalıştığını kök nedeninden teşhis edip hızlandırmaya odaklanır. Katılımcılar EXPLAIN ve EXPLAIN ANALYZE ile sorgu planını okur; MapReduce, Tez ve LLAP yürütme motorlarını ve DAG tabanlı yürütmeyi kavrar. Join optimizasyonunda map-side join, bucket map join, sort-merge bucket (SMB) join ve skew join; dosya düzeyinde ORC, predicate pushdown, bloom filter ve veri atlama işlenir. Vectorization, cost-based optimizer (CBO) ve istatistik toplama, partition pruning, dynamic partition pruning ve CTE/materyalize görünüm optimizasyonu ele alınır. Eğitim, gerçek yavaş sorguların plan üzerinden iyileştirilmesiyle tamamlanır.
4 Gün. Her gün dört modül; sorgu planından yürütme motoruna, join ve dosya optimizasyonundan istatistik tabanlı planlamaya ilerlenir.
İleri Seviye — Hive sorgu yürütmesinin derinlemesine optimizasyonu: yürütme motoru, join stratejileri, dosya formatı ve istatistik tabanlı planlama.
Katılımcılar gerçek yavaş sorguları EXPLAIN ile analiz eder, join ve format ayarlarını değiştirip sorgu sürelerindeki iyileşmeyi ölçer.
EXPLAIN ile sorgu planını okuyup darboğazı kök nedeninden teşhis edersiniz.
Map-side, SMB ve skew join ile pahalı join'leri hızlandırırsınız.
ORC, pushdown ve bloom filter ile okunan veri miktarını azaltırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
HiveQL ile tablo oluşturma ve sorgulama deneyimi güçlü biçimde faydalıdır.
HDFS ve YARN kaynak kavramlarına aşinalık beklenir.
Temel sorgu performansı ve index kavramlarına aşinalık faydalıdır.
Tez/LLAP yapılandırılmış bir Hive kümesine erişim.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
EXPLAIN ve EXPLAIN ANALYZE ile planı okuyup darboğazı bulursunuz.
Tez DAG ve LLAP ile yürütmeyi hızlandırırsınız.
Map-side, SMB ve skew join ile pahalı join'leri çözersiniz.
ORC pushdown ve bloom filter ile okunan veriyi azaltırsınız.
Static ve dynamic pruning ile bölüm okumayı sınırlarsınız.
İstatistik toplayıp CBO ile daha iyi plan ürettirirsiniz.
Vectorized execution ile CPU verimini artırırsınız.
Materyalize görünüm ve önbellekle tekrarlı sorguyu hızlandırırsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
İleri Spark programlama: Dataset/encoder, aggregateByKey ve özel partitioner, broadcast/accumulator, nested tipler, higher-order fonksiyonlar ve pandas UDF.
Detayları Gör →
Spark'ta akış verisine giriş: batch-stream farkı, lambda/kappa mimarileri, Structured Streaming temelleri, kaynaklar, çıkış modları ve ilk akış uygulaması.
Detayları Gör →
Spark Structured Streaming ile akış verisi işleme: olay zamanlı pencereleme, watermark, stateful işleme, stream join, checkpoint'lı sink'ler ve izleme.
Detayları Gör →
Talend Studio ile HDFS, Hive ve Spark üzerinde görsel büyük veri ETL job'ları tasarlayın: tMap, tHive, context ve çizelgeleme. Uygulamalı DVA eğitimi.
Detayları Gör →
Büyük veride dağıtık işleme, örnekleme, HyperLogLog ve Count-Min sketch, PCA ve Spark MLlib ile ölçeklenebilir analitik tekniklerini uygulamalı öğrenin.
Detayları Gör →