İç içe veriyi Hive ile aç, düzleştir ve sorgula
Hive'ın karmaşık tip ve iç içe veri sorgulama yeteneklerini öğreten ileri seviye eğitim: ARRAY/MAP/STRUCT modelleme, LATERAL VIEW ve explode ile düzleştirme, collect_list ile yeniden gruplama ve get_json_object/json_tuple ile JSON log analizi.
Karmaşık tipler, LATERAL VIEW explode ve iç içe veri sorgulama
Bu ileri seviye eğitim, Hive'ın karmaşık veri tiplerini ve iç içe yapıları sorgulama yeteneklerini derinlemesine öğretir. ARRAY, MAP, STRUCT ve UNIONTYPE tanımları; JSON ve Avro gibi iç içe formatların SerDe ile okunması; LATERAL VIEW ve explode/posexplode ile dizi/harita düzleştirme; collect_list/collect_set ile tekrar gruplama işlenir. Ardından get_json_object ve json_tuple ile JSON ayrıştırma, çok seviyeli iç içe erişim, karmaşık tiplerle join ve toplama, görünümler (view) ile soyutlama ele alınır. Katılımcı, düz olmayan gerçek dünya verisini Hive'da analiz edebilir.
3 Gün. Her gün dört modül; katılımcılar karmaşık tiplerden iç içe JSON sorgulamaya kadar ilerler.
İleri Seviye — Hive'da iç içe (nested), dizi ve harita gibi karmaşık veri tiplerinin modellenmesi ve sorgulanmasının derinlemesine ele alınması.
Katılımcılar gerçek JSON ve iç içe veri kümeleri üzerinde HiveQL ile düzleştirme ve sorgulama yaparak öğrenir.
ARRAY, MAP ve STRUCT ile iç içe veriyi doğru modellersiniz.
LATERAL VIEW explode ile iç içe diziyi satırlara açarsınız.
get_json_object ile log ve JSON verisini sorgularsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
HiveQL ile tablo ve temel sorgu deneyimi beklenir.
JSON ve iç içe veri yapılarına aşinalık faydalıdır.
GROUP BY ve JOIN kavramlarına aşinalık yararlıdır.
Hive kurulu bir Hadoop sandbox veya kümeye erişim.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
ARRAY, MAP ve STRUCT ile iç içe veriyi modellersiniz.
İç içe alanlara index, anahtar ve nokta ile erişirsiniz.
LATERAL VIEW explode ile dizileri satırlara açarsınız.
collect_list/collect_set ile iç içe yapı kurarsınız.
get_json_object ve json_tuple ile JSON sorgularsınız.
Değişken şemalı log verisini güvenle işlersiniz.
View ile karmaşık sorguları soyutlayıp tekrar kullanırsınız.
Düz olmayan gerçek dünya verisini uçtan uca analiz edersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Hive sorgularını kök nedenden hızlandırın: EXPLAIN plan analizi, Tez/LLAP, map-side/SMB/skew join, ORC pushdown, bloom filter, partition pruning ve CBO.
Detayları Gör →
Veri işleme bağlamında Apache Kafka'ya başlayın: temel kavramlar, Docker kurulumu, CLI ve Python ile ilk veri akışı, consumer group ve ekosisteme bakış.
Detayları Gör →
Spark Structured Streaming ile Kafka entegrasyonunu öğrenin: Kafka source/sink, from_json ayrıştırma, offset yönetimi, pencereleme, checkpoint ve exactly-once.
Detayları Gör →
Apache Spark'a başlayın: dağıtık işleme modeli, driver/executor mimarisi, RDD dönüşüm/eylemleri, DataFrame, Spark SQL ve ilk veri işleme işi.
Detayları Gör →
R'ı büyük veriyle ölçekli kullanın: data.table performansı, sparklyr/SparkR ile Spark bağlantısı, dplyr dağıtık işleme, MLlib modelleme ve spark_apply.
Detayları Gör →