Dağıtık veri işlemenin temelini kurun
HDFS, MapReduce ve YARN çekirdeğiyle Hive, Sqoop ve HBase ekosistemini kapsayan, dağıtık depolama ve işlemeyi uçtan uca kavratan uygulamalı Hadoop eğitimi.
Hadoop çekirdeği ve ekosistemini uçtan uca kavramak
Bu eğitim, Apache Hadoop çekirdeğini ve ekosistemini uçtan uca öğretir. HDFS mimarisi (NameNode, DataNode, blok, replikasyon), MapReduce programlama modeli ve YARN kaynak yönetimi işlenir. hdfs dfs komutları, Java/streaming MapReduce işleri, YARN üzerinde iş gönderme, Hive ile SQL, Sqoop ile veri alımı ve HBase ile NoSQL erişimi uygulamalı ele alınır. Küme kurulumu temel düzeyde, dosya formatları, sıkıştırma ve ekosistem bileşenlerinin iş bölümü gösterilir.
4 Gün. Her gün dört modül; HDFS komutları ve MapReduce/Hive işleri çalıştırma lableri.
Orta Seviye — HDFS, MapReduce, YARN ve Hadoop ekosistem bileşenlerini uçtan uca kapsar.
Hadoop sandbox üzerinde HDFS'e veri yükleyip MapReduce ve Hive işleri çalıştırarak uygulanır.
HDFS ile petabaytlarca veriyi güvenilir ve ölçeklenebilir şekilde saklarsınız.
MapReduce ve YARN ile veriyi paralel işleyip kümeyi verimli kullanırsınız.
Hive, Sqoop ve HBase ile tam bir büyük veri araç setine hakim olursunuz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Terminal, SSH ve dosya işlemleri gerekir.
Java veya Python'da temel yetkinlik faydalıdır.
Hive bölümü için temel SQL beklenir.
Hadoop sandbox veya çok node'lu bir küme erişimi gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Dağıtık depolamayı komutlarla yönetir ve mimarisini açıklarsınız.
Paralel işleme modelini kavrar ve basit işler yazarsınız.
Kaynak yönetimi ve iş zamanlamasını yönetirsiniz.
HiveQL ile Hadoop üzerinde SQL sorguları çalıştırırsınız.
İlişkisel veriyi Hadoop'a aktarır ve geri yazarsınız.
NoSQL sütun ailesi modeliyle temel okuma/yazma yaparsınız.
Parquet/ORC ve sıkıştırma ile depolamayı verimli kullanırsınız.
Bileşenlerin iş bölümüyle veri hattı tasarlarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Spark iç mimarisini derinlemesine öğrenin: Catalyst, Tungsten, DAG scheduler, job/stage/task, shuffle, unified memory modeli, skew ve AQE ile performans teşhisi
Detayları Gör →
Yazılım geliştiriciler için üretim kalitesinde Spark: modüler Dataset tasarımı, birim test (chispa), veri kalitesi, paketleme, CI/CD ve performans mühendisliği.
Detayları Gör →
Spark ile yüksek hızlı büyük veri analitiği: etkileşimli Spark SQL, rollup/cube, önbellekleme, Parquet/ORC, approx fonksiyonlar, AQE ve BI entegrasyonu.
Detayları Gör →
Spark işlerini izleyin ve ayarlayın: Spark UI/History, Prometheus/Grafana metrikleri, GC/bellek ayarı, Kryo, shuffle ve dynamic allocation ile skew teşhisi.
Detayları Gör →
Spark tabanlı veri platformunda teknik liderlik: mimari kararlar, maliyet yönetişimi, kapasite planlaması, ekip standartları, CI/CD kültürü ve platform strateji
Detayları Gör →