Hive'da bucketing ve pencere fonksiyonlarını ustalaş
Hive'da performanslı sorgulama ve ileri analitiği öğreten orta seviye eğitim: partitioning ve bucketing tasarımı, bucket map ve SMB join, OVER/PARTITION BY pencere fonksiyonları, ROW_NUMBER/RANK/NTILE, LAG/LEAD, kümülatif ve kayan hesaplar, çerçeve tanımı ile…
Hive partitioning/bucketing ve window fonksiyonları
Bu orta seviye eğitim, Hive üzerinde performanslı veri organizasyonu ve ileri analitik sorgulamaya odaklanır. Partitioning ve bucketing kavramları, bucketing'in join ve örneklemedeki (sampling) rolü, CLUSTERED BY ve bucket sayısı tasarımı işlenir. Ardından HiveQL pencere (window) fonksiyonları: OVER, PARTITION BY ve ORDER BY; sıralama fonksiyonları (ROW_NUMBER, RANK, DENSE_RANK), LAG/LEAD, kümülatif ve kayan (rolling) hesaplamalar, çerçeve (frame) tanımı (ROWS/RANGE BETWEEN) uygulanır. Map-side ve sort-merge bucket join, ORC format etkisi ve sorgu optimizasyonu ele alınır. Katılımcılar gerçek veri setlerinde bucketing tasarlayıp pencere fonksiyonlarıyla analiz sorguları yazar.
3 Gün. Her gün dört modül; katılımcılar partitioning/bucketing'den pencere fonksiyonlarına ve optimizasyona ilerler.
Orta Seviye — Hive'da bucketing ile veri organizasyonu ve pencere (window) fonksiyonlarıyla ileri analitik sorgulama.
Katılımcılar Hive tablolarında bucketing tasarlayıp HiveQL pencere fonksiyonlarıyla gerçek sorgular çalıştırarak öğrenir.
Veriyi bucket'lara bölerek join ve örneklemeyi hızlandırırsınız.
Sıralama, LAG/LEAD ve kümülatif hesapları tek sorguda yaparsınız.
Bucket join ve ORC ile sorgu performansını artırırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, JOIN ve GROUP BY içeren SQL yazımına aşinalık beklenir.
Hive tablo kavramı ve HiveQL temeline aşinalık faydalıdır.
HDFS ve dağıtık işleme hakkında temel bilgi yararlıdır.
Hive erişimi olan bir Hadoop ortamı veya sandbox.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Partition pruning ile sorguları hızlandırırsınız.
CLUSTERED BY ile veriyi bucket'lara bölersiniz.
Bucket map ve SMB join ile birleştirmeyi hızlandırırsınız.
OVER/PARTITION BY ile pencere sorguları yazarsınız.
ROW_NUMBER, RANK ve NTILE ile sıralama yaparsınız.
Dönemsel değişim ve trend hesaplarsınız.
ROWS/RANGE BETWEEN ile kayan pencere tanımlarsınız.
ORC, Tez ve CBO ile sorguları optimize edersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Büyük verinin temel kavramlarını, iş ve teknoloji itici güçlerini ve analitik tekniklerini öğrenin: 5V, veri madenciliği, ML ve görselleştirme. Temel seviye eği
Detayları Gör →
Büyük verinin temellerini uygulamalı öğrenin: 5V, HDFS, YARN, MapReduce, Spark, Hive ve Kafka ile dağıtık depolama ve işleme. Temel seviye DVA eğitimi.
Detayları Gör →
Hadoop üzerinde katmanlı bir içgörü mimarisi kurun: veri modelleme, Data Vault, entegrasyon, MDM, kalite, Hive/Impala servisi ve yönetişim. İleri seviye eğitim.
Detayları Gör →
Büyük veri dönüşümünü vizyondan uygulamaya aşamalı bir yol haritasına dökün: dalga planı, kilometre taşları, bağımlılık, bütçe, risk ve KPI. Orta seviye eğitim.
Detayları Gör →
Büyük veri çözümlerini satış perspektifinden konumlandırın: değer önerisi, kullanım senaryoları, keşif, ROI ve itiraz yönetimi. Temel seviye DVA eğitimi.
Detayları Gör →