HDFS'teki veriyi SQL'le sorgulanabilir yap
Apache Hive ile büyük veriyi SQL benzeri HiveQL ile sorgulamayı öğreten orta seviye eğitim: metastore mimarisi, managed/external tablolar, LOAD/INSERT/CTAS yükleme, static/dynamic partitioning, bucketing, ORC/Parquet formatları ve JOIN, GROUP BY, pencere fonk…
Hive tabloları, veri yükleme, bölümleme, HiveQL ve dosya formatları
Bu eğitim, Apache Hive ile HDFS üzerindeki büyük veriyi SQL benzeri HiveQL ile sorgulamayı öğretir. Katılımcılar Hive metastore mimarisini, managed ve external tablo farkını kavrar; CREATE TABLE ile şema tanımlar, LOAD DATA ve INSERT ile veri yükler. Bölümleme (static/dynamic partitioning) ve bucketing ile sorgu performansını artırır; ORC, Parquet, Avro ve text dosya formatlarını ve sıkıştırmayı karşılaştırır. HiveQL tarafında SELECT, JOIN tipleri, GROUP BY, pencere fonksiyonları, UDF ve CTE işlenir. Eğitim, partition pruning ve dosya formatı seçimiyle sorgu optimizasyonuna giriş yaparak tamamlanır.
3 Gün. Her gün dört modül; Hive tablolarından veri yüklemeye ve HiveQL ile sorgulamaya ilerlenir.
Orta Seviye — Apache Hive ile veri ambarı tabloları oluşturma, HDFS'ten veri yükleme ve HiveQL ile sorgulama.
Katılımcılar Hive üzerinde gerçek tablolar oluşturup HDFS'ten veri yükler ve HiveQL sorgularını çalıştırarak sonucu doğrular.
Hive metastore ve tablo modeliyle HDFS verisini ambar gibi yönetirsiniz.
Partitioning ve bucketing ile sorgu performansını belirgin artırırsınız.
JOIN, GROUP BY ve pencere fonksiyonlarıyla büyük veriyi SQL'le analiz edersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, JOIN, GROUP BY gibi temel SQL'e aşinalık güçlü biçimde faydalıdır.
HDFS dizin ve dosya kavramlarına temel aşinalık faydalıdır.
Tablo, şema ve veri tipi kavramlarına aşinalık beklenir.
Hive kurulu bir küme veya sandbox ile beeline/CLI erişimi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Metastore, HiveServer2 ve şema-on-read yaklaşımını açıklarsınız.
Managed ve external tablolar arasında bilinçli seçim yaparsınız.
LOAD, INSERT ve CTAS ile Hive'a veri yüklersiniz.
Static/dynamic partitioning ile sorgu performansını artırırsınız.
CLUSTERED BY ile bucketing kurup join'i hızlandırırsınız.
ORC, Parquet ve sıkıştırmayı senaryoya göre seçersiniz.
JOIN, GROUP BY ve pencere fonksiyonlarıyla analitik sorgu yazarsınız.
EXPLAIN ve partition pruning ile sorgu planını iyileştirirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Spark iç mimarisini derinlemesine öğrenin: Catalyst, Tungsten, DAG scheduler, job/stage/task, shuffle, unified memory modeli, skew ve AQE ile performans teşhisi
Detayları Gör →
Yazılım geliştiriciler için üretim kalitesinde Spark: modüler Dataset tasarımı, birim test (chispa), veri kalitesi, paketleme, CI/CD ve performans mühendisliği.
Detayları Gör →
Spark ile yüksek hızlı büyük veri analitiği: etkileşimli Spark SQL, rollup/cube, önbellekleme, Parquet/ORC, approx fonksiyonlar, AQE ve BI entegrasyonu.
Detayları Gör →
Spark işlerini izleyin ve ayarlayın: Spark UI/History, Prometheus/Grafana metrikleri, GC/bellek ayarı, Kryo, shuffle ve dynamic allocation ile skew teşhisi.
Detayları Gör →
Spark tabanlı veri platformunda teknik liderlik: mimari kararlar, maliyet yönetişimi, kapasite planlaması, ekip standartları, CI/CD kültürü ve platform strateji
Detayları Gör →