Hadoop verisini Hive ve Pig ile SQL ve akışla işle
Hadoop'un iki klasik veri işleme aracını birlikte öğreten orta seviye eğitim: Hive'da tablo tasarımı, HiveQL sorgulama, partition/bucketing ile Pig Latin veri akışları, UDF ile genişletme ve iki aracın birlikte kullanıldığı uçtan uca ETL.
HiveQL tablo/sorgu, Pig Latin akışı ve Hadoop üzerinde çalıştırma
Bu orta seviye eğitim, Hadoop ekosisteminin iki klasik veri işleme aracını birlikte öğretir. Hive tarafında yönetimli/dış tablolar, HiveQL ile SELECT/JOIN/GROUP BY, partition ve bucketing, SerDe ile veri formatları; Pig tarafında Pig Latin ile LOAD/FOREACH/GENERATE, FILTER, GROUP, JOIN ve FLATTEN işlenir. İki aracın MapReduce/Tez üzerinde nasıl çalıştığı, ne zaman hangisinin uygun olduğu, UDF ile genişletme ve HDFS ile etkileşim ele alınır. Katılımcı, ham HDFS verisini hem Hive hem Pig ile işleyip sonucu üretebilir.
3 Gün. Her gün dört modül; katılımcılar Hive ve Pig'i ham veriden sonuca kadar birlikte kullanır.
Orta Seviye — Hadoop üzerinde HiveQL ile SQL benzeri sorgulama ve Pig Latin ile veri akışı programlamanın birlikte ele alınması.
Katılımcılar HDFS'teki gerçek veri kümeleri üzerinde HiveQL sorguları ve Pig Latin betikleri yazarak çalışır.
HiveQL ile büyük veriyi tanıdık SQL mantığıyla sorgularsınız.
Pig Latin ile adım adım veri dönüşüm akışları yazarsınız.
Her işe uygun aracı seçerek iş yükünü verimli tasarlarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, JOIN ve GROUP BY gibi temel SQL bilgisi faydalıdır.
HDFS ve MapReduce'un ne olduğuna dair temel bilgi beklenir.
Linux kabuğunda dosya ve betik çalıştırmaya aşinalık yararlıdır.
Hive ve Pig kurulu bir Hadoop sandbox veya kümeye erişim.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Yönetimli/dış tablolar ve formatlarla Hive veri modeli kurarsınız.
JOIN, GROUP BY ve pencere fonksiyonlarıyla büyük veri sorgularsınız.
Partition ve bucketing ile sorguları hızlandırırsınız.
LOAD, FOREACH ve FILTER ile veri akışları yazarsınız.
GROUP, JOIN ve FLATTEN ile çok kaynaklı veriyi işlersiniz.
Hive ve Pig'i özel fonksiyonlarla genişletirsiniz.
İş için Hive mi Pig mi olduğuna gerekçeyle karar verirsiniz.
İki aracı birlikte kullanarak uçtan uca ETL kurarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Apache Sqoop ile RDBMS ve Hadoop arasında import/export, artımlı aktarım, Hive/HBase yükleme ve Sqoop job otomasyonu öğrenin. Orta seviye DVA eğitimi.
Detayları Gör →
Spark ile veri dönüşümü: tüm join türleri ve stratejileri, pivot/rollup agregasyonları ve pencere fonksiyonları ile performans ayarı. Orta seviye eğitim.
Detayları Gör →
Apache Kafka ile uçtan uca veri hattı tasarımı: topic/partition, Connect, Schema Registry, Streams ve exactly-once. Uygulamalı ileri seviye eğitim.
Detayları Gör →
Hadoop MapReduce ile sıfırdan uygulama geliştirme: Mapper, Reducer, Driver, Writable tipleri ve Combiner. Java ile uygulamalı temel seviye eğitim.
Detayları Gör →
Apache Kafka ve Red Hat AMQ Streams ile OpenShift üzerinde olay tabanlı mikroservis geliştirme: Reactive Messaging, Kafka Streams, CQRS ve event sourcing.
Detayları Gör →