Hadoop verisini SQL ile sorgula, meta veriyi paylaş
Apache Hive ve HCatalog eğitimi: Hive mimarisi ve HiveQL, HiveServer2 üzerinden JDBC/Beeline erişimi, HCatalog ile Pig/MapReduce meta veri paylaşımı ve ORC/partition/vectorization ile performans optimizasyonu uygulamalı işlenir.
Hive mimarisi, HiveQL, HiveServer2, HCatalog ve performans optimizasyonu
Bu eğitim, Hadoop üzerinde SQL benzeri analiz sağlayan Apache Hive'ı ve meta veri paylaşım katmanı HCatalog'u ele alır. Hive mimarisi, metastore, driver ve yürütme motorları (MapReduce/Tez); HiveQL ile DDL/DML, yönetilen ve dış (external) tablolar, bölümleme (partition) ve bucketing işlenir. HiveServer2 üzerinden JDBC/ODBC ve Beeline ile bağlantı, kimlik doğrulama ve eşzamanlı istemci yönetimi açıklanır. HCatalog ile Pig ve MapReduce'un aynı tablo tanımını paylaşması, WebHCat (templeton) REST arayüzü ve şema tutarlılığı ele alınır. ORC/Parquet depolama, sıkıştırma, partition pruning ve vectorization ile performans optimizasyonu uygulanır.
3 Gün. Her gün dört modül; Hive mimarisi ve HiveQL'den HCatalog ve performans ayarına kadar işlenir.
Orta Seviye — Apache Hive sorgu motoru, HiveServer2 erişimi ve HCatalog ile paylaşımlı meta veri yönetimi.
Katılımcılar bir Hadoop/Hive ortamında Beeline, tablo tasarımı ve HCatalog paylaşımını uygulamalı yapar.
HiveQL ile Hadoop'taki devasa veriyi SQL benzeri sorgularla analiz edersiniz.
HCatalog ile Pig ve MapReduce'un aynı şemayı paylaşmasını sağlarsınız.
ORC, partition pruning ve vectorization ile sorgu sürelerini kısaltırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Temel-orta SQL (SELECT, JOIN, GROUP BY) bilgisi gereklidir.
HDFS ve MapReduce kavramlarına temel aşinalık faydalıdır.
Komut satırı ve dosya işlemleri konusunda rahat olmak yararlıdır.
Bir Hadoop/Hive sandbox veya cluster erişimi önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Hive ve metastore mimarisini açıklayabilirsiniz.
DDL/DML ve pencere fonksiyonlarıyla sorgu yazabilirsiniz.
Managed/external tablo ve SerDe kurabilirsiniz.
JDBC/Beeline ile bağlantı ve erişim kurabilirsiniz.
Pig/MapReduce ile paylaşımlı meta veri sağlayabilirsiniz.
ORC/Parquet ile verimli depolama seçebilirsiniz.
Partition ve bucketing ile veriyi düzenleyebilirsiniz.
Tez ve vectorization ile sorguları hızlandırabilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Java'da JDBC ile veri erişimi: DriverManager, PreparedStatement, ResultSet, transaction, batch ve bağlantı havuzu. Uygulamalı orta seviye DVA eğitimi.
Detayları Gör →
Excel'de veri analizi ve görselleştirme: Power Query, PivotTable, XLOOKUP, dinamik diziler ve etkileşimli gösterge paneli. Uygulamalı orta seviye DVA eğitimi.
Detayları Gör →
Excel'de istatistiksel analiz: tanımlayıcı istatistik, Analysis ToolPak, korelasyon, regresyon, ANOVA ve hipotez testleri. Uygulamalı orta seviye DVA eğitimi.
Detayları Gör →
Yoğun veri analizi kampı: Excel, SQL, Python/pandas, istatistik ve görselleştirme ile uçtan uca proje. Beş günlük ileri seviye DVA eğitimi.
Detayları Gör →
Veri analizinin temel kavramları: veri türleri, ölçüm düzeyleri, analiz türleri, örneklem, temel istatistik ve korelasyon/nedensellik. Temel seviye DVA eğitimi.
Detayları Gör →