Spark işlerini ölç, teşhis et ve ayarla
Spark işlerinin izlenmesine ve performans ayarına odaklanan ileri seviye eğitim: Spark UI tüm sekmeleri ve History Server, Dropwizard/Prometheus/Grafana metrikleri ve alerting, task/GC/spill/shuffle metrik yorumu, G1GC ve unified memory ayarı, Kryo serileştir…
Spark UI/History, metrik sistemi, GC ayarı, kaynak ve shuffle tuning
Bu ileri seviye eğitim, Spark işlerinin izlenmesine ve performans ayarına odaklanır. Katılımcılar Spark UI'nın tüm sekmelerini (Jobs, Stages, Tasks, SQL, Storage, Executors, Environment) ve History Server'ı derinlemesine okur; metrik sistemi (Dropwizard, Prometheus, Grafana) ve event log ile gözlemlenebilirlik kurar. Task süreleri, GC süresi, spill, shuffle read/write, data skew ve input size metriklerini yorumlar. Tuning tarafında JVM GC ayarı (G1GC), executor memory/cores dengesi, dynamic allocation, shuffle partition sayısı, serileştirme (Kryo) ve veri yerelliği ele alınır. Eğitim, gerçek yavaş işlerin metrik üzerinden teşhis edilip ayarlanmasıyla tamamlanır.
4 Gün. Her gün dört modül; Spark UI ve metriklerden GC, kaynak ve shuffle ayarına, uçtan uca teşhise ilerlenir.
İleri Seviye — Spark işlerinin izlenmesi (monitoring) ve ayarlanması (tuning): metrikler, Spark UI/History, GC, kaynak ve shuffle ayarı.
Katılımcılar gerçek işlerin Spark UI ve metriklerini inceleyerek darboğazı teşhis eder, ayar değişikliğinin etkisini ölçerek doğrular.
Spark UI, History ve Prometheus ile işleri uçtan uca izlersiniz.
Task, GC, spill ve shuffle metrikleriyle darboğazı kök nedenden bulursunuz.
GC, kaynak ve shuffle ayarıyla işleri hızlandırıp kararlı kılarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Spark işleri yazma ve çalıştırma deneyimi güçlü biçimde faydalıdır.
JVM bellek ve GC kavramlarına temel aşinalık beklenir.
Küme, paralellik ve kaynak kavramlarına aşinalık faydalıdır.
Spark UI ve metrik erişimi olan bir küme/ortam.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Jobs/Stages/Tasks ve Executors sekmelerini derinlemesine okursunuz.
History Server ile geçmiş işleri retrospektif incelersiniz.
Prometheus/Grafana ile kalıcı gözlemlenebilirlik kurarsınız.
Kritik metrikler için SLO tabanlı uyarılar tanımlarsınız.
G1GC ve bellek ayarıyla OOM ve uzun duraklamaları önlersiniz.
Kryo ile serileştirme maliyetini azaltırsınız.
Shuffle partition ve dynamic allocation ayarını yaparsınız.
Yavaş işi metrikle teşhis edip ayar etkisini ölçersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Hive'da ARRAY, MAP, STRUCT ve JSON gibi iç içe veriyi LATERAL VIEW, explode ve get_json_object ile modelleyip sorgulamayı uygulamalı öğrenin.
Detayları Gör →
Apache Kafka temelleri: topic, partition ve offset yönetimi, producer ve consumer geliştirme, consumer group ve offset commit'i uygulamalı öğrenin.
Detayları Gör →
HDFS üzerinde dosya yönetimi: hdfs dfs komutları, blok ve replikasyon, dosya formatları, sıkıştırma ve fsck ile sağlık kontrolünü uygulamalı öğrenin.
Detayları Gör →
Spark'ın çekirdeği RDD'yi öğrenin: map/filter/reduceByKey dönüşümleri, lineage ve DAG, shuffle, partition ve persist ile performans yönetimi.
Detayları Gör →
Azure HDInsight'ta Spark kümesi sağlama, PySpark ve Spark SQL ile iş çalıştırma, YARN, autoscale, Ambari izleme ve maliyet yönetimini öğrenin.
Detayları Gör →