Büyük veriye SQL ile Hive üzerinden sorun
Apache Hive ile HDFS üzerinde HiveQL sorguları, managed/external tablolar, partition, bucketing ve ORC/Parquet formatlarıyla büyük veri analizi ve veri ambarı temelleri eğitimi.
HiveQL ve veri ambarı temelleri odaklı uygulamalı eğitim
Bu eğitim, Apache Hive ile HDFS üzerindeki büyük veriyi SQL benzeri HiveQL diliyle sorgulamayı temelden öğretir. Hive mimarisi ve metastore, managed ve external tablolar, veri yükleme, HiveQL ile SELECT, JOIN ve GROUP BY, partitioning ve bucketing, ORC ve Parquet dosya formatları, built-in fonksiyonlar ve basit optimizasyon gibi somut konuları kapsar. Katılımcı MapReduce kodu yazmadan, tanıdık SQL yaklaşımıyla büyük veri üzerinde analiz yapar ve bir veri ambarı şeması kurar.
3 Gün. Her gün dört modül; her modül anlatım ve Hive üzerinde HiveQL labı içerir.
Temel Seviye — Apache Hive ile HDFS üzerindeki büyük veriye SQL benzeri HiveQL ile sorgu yazma ve veri ambarı kurma.
Hadoop/Hive ortamında Beeline veya CLI ile gerçek veri setleri üzerinde HiveQL sorguları yazarak uygulamalı öğrenme.
MapReduce kodu yazmadan, bildiğiniz SQL yaklaşımıyla büyük veriyi sorgularsınız.
HDFS üzerinde şemalı tablolar kurup ambar mantığıyla analiz yaparsınız.
Partition, bucketing ve ORC formatıyla sorgularınızı hızlandırırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, JOIN, GROUP BY içeren temel SQL bilgisi gerekir.
HDFS'e dosya yükleme kavramına aşinalık faydalıdır.
Linux kabuğunda rahatlık avantaj sağlar.
Hadoop ve Hive kurulu bir ortam veya sandbox önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Hive metastore ve schema-on-read yaklaşımını açıklayabilirsiniz.
Managed ve external tablolar oluşturup veri yükleyebilirsiniz.
SELECT, JOIN ve GROUP BY ile analiz sorguları yazabilirsiniz.
Built-in fonksiyonlarla veriyi dönüştürebilirsiniz.
Partition pruning ile sorgu maliyetini düşürebilirsiniz.
Bucketing ile birleştirme ve örneklemeyi hızlandırabilirsiniz.
ORC/Parquet ile depolama ve performansı optimize edebilirsiniz.
EXPLAIN ve istatistiklerle sorguları iyileştirebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
HDFS mimarisini öğrenin ve hdfs dfs komutlarıyla veri yükleme, izin, replikasyon, kota, fsck ve bakım işlemlerini uygulamalı yönetin. Temel seviye DVA eğitimi.
Detayları Gör →
Apache Kafka'yı uçtan uca öğrenin: topic/partition mimarisi, producer/consumer API'leri, teslim garantileri, Schema Registry, Kafka Connect ve Streams.
Detayları Gör →
Apache Kafka'ya sıfırdan başlayın: topic/partition kavramları, Docker kurulumu, CLI ile mesaj üretme/tüketme, consumer group ve ilk producer/consumer uygulaması
Detayları Gör →
ksqlDB ile SQL tabanlı akış işleme ve Kafka Connect ile CDC/JDBC/S3 entegrasyonunu birleştirin; uçtan uca gerçek zamanlı veri hattı tasarlayın.
Detayları Gör →
Apache Hive ile managed/external tablolar kurun, HDFS'ten veri yükleyin, partitioning ve bucketing uygulayın, HiveQL ile JOIN ve pencere fonksiyonları yazın.
Detayları Gör →