Spark'ın motorunun içini derinlemesine kavra
Apache Spark'ın iç mimarisini ve yürütme modelini kök düzeyde açıklayan ileri seviye eğitim: logical/physical plan ve Catalyst optimizer, Tungsten off-heap bellek ve whole-stage codegen, DAG scheduler ve job/stage/task bölünmesi, narrow/wide bağımlılıklar, sh…
Catalyst/Tungsten, DAG scheduler, shuffle, bellek ve yürütme planı
Bu ileri seviye eğitim, Apache Spark'ın iç mimarisini ve yürütme modelini kök düzeyde açıklar. Katılımcılar logical plan'dan physical plan'a Catalyst optimizer'ı, Tungsten ile bellek yönetimi ve kod üretimini (whole-stage codegen), DAG scheduler'ın stage'lere bölme mantığını ve task scheduler'ı inceler. Shuffle mekanizması (shuffle write/read, sort-based shuffle, external shuffle service), partition ve paralellik, narrow/wide bağımlılıklar işlenir. Bellek yönetiminde unified memory model (execution/storage), spill, broadcast ve veri yerelliği (locality) ele alınır. Adaptive Query Execution, speculative execution ve iş yürütmesinin Spark UI'dan okunması derinlemesine incelenir. Eğitim, performans sorunlarının mimari düzeyde teşhisiyle tamamlanır.
3 Gün. Her gün dört modül; sorgu planından yürütme modeline, shuffle ve bellek yönetimine ilerlenir.
İleri Seviye — Spark'ın iç mimarisi ve yürütme modeli: Catalyst, Tungsten, DAG scheduler, shuffle ve bellek yönetimi.
Katılımcılar gerçek işlerin planlarını ve Spark UI metriklerini inceleyerek Catalyst, shuffle ve bellek davranışını uygulamalı analiz eder.
Catalyst ve Tungsten ile Spark'ın işi nasıl yürüttüğünü kök düzeyde anlarsınız.
Shuffle write/read ve wide bağımlılıkların maliyetini çözümlersiniz.
Unified memory ve spill davranışını anlayıp OOM'u önlersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Spark DataFrame/SQL ile pratik deneyim güçlü biçimde faydalıdır.
Paralellik ve küme kavramlarına aşinalık beklenir.
JVM bellek ve GC kavramlarına temel aşinalık faydalıdır.
Spark UI erişilebilen bir küme veya ortam.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Logical'dan physical plana derleme sürecini açıklarsınız.
Catalyst optimizasyon kurallarını ve planı okursunuz.
Off-heap bellek ve whole-stage codegen'i kavrarsınız.
İşin stage/task'lara bölünmesini analiz edersiniz.
Narrow/wide bağımlılık ve lineage'ı yorumlarsınız.
Shuffle write/read ve spill maliyetini çözümlersiniz.
Unified memory modelini anlayıp OOM'u önlersiniz.
Skew, AQE ve UI ile performans sorunlarını kök düzeyde çözersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Cloudera Manager ile Hadoop kümelerini kurun, parcel ile servis dağıtın, yapılandırın ve yaşam döngüsünü yönetin. İleri seviye DVA eğitimi.
Detayları Gör →
Cloudera Manager yönetimini öğrenin: RBAC yetkilendirme, LDAP, yapılandırma, izleme, uyarı ve BDR/snapshot ile yedekleme. İleri seviye DVA eğitimi.
Detayları Gör →
Cloudera Manager araçlarını, Chart Builder'ı, yapılandırma şablonlarını ve REST API otomasyonunu kullanarak kümeyi verimli yönetin. Orta seviye eğitim.
Detayları Gör →
Confluent Platform'da Kafka broker yönetimi, topic/partition tasarımı, replikasyon, SASL/SSL güvenlik, Schema Registry ve consumer lag izleme. İleri seviye eğit
Detayları Gör →
Kafka kümesini ölçeklendirin, partition yeniden atayın, broker/topic/istemci yapılandırmasını ve performansı ayarlayıp benchmark yapın. İleri seviye eğitim.
Detayları Gör →