Spark Performans Optimizasyonu Eğitimi

Eğitim Hakkında

Partition/join optimizasyonu, format, önbellek ve kod desenleri

Bu ileri seviye eğitim, Spark performansını kod ve veri tasarımı düzeyinde sistematik iyileştirmeye odaklanır. Katılımcılar partition stratejisi (boyut, sayı, repartition/coalesce), veri çarpıklığı (skew) giderme ve salting; join optimizasyonu (broadcast, bucketed, skew join, join sırası) uygular. Kolonlu formatlar (Parquet/ORC), predicate/projection pushdown, partition pruning ve dosya boyutu; önbellekleme stratejisi, serileştirme (Kryo) ve shuffle azaltma işlenir. Kod düzeyinde UDF yerine yerleşik fonksiyon, gereksiz shuffle ve collect'ten kaçınma, pencere optimizasyonu ve AQE en iyi uygulamaları ele alınır. Eğitim, anti-pattern'lerin tespiti ve gerçek işlerin en iyi uygulamalarla hızlandırılmasıyla tamamlanır.

Süre ve Format

4 Gün. Her gün dört modül; partition ve skew'den join, format ve önbelleğe, kod düzeyi en iyi uygulamalara ilerlenir.

Seviye

İleri Seviye — Spark performans optimizasyonu ve en iyi uygulamalar: partition, join, format, önbellek ve kod düzeyi desenler.

Öğrenme Metodu

Katılımcılar anti-pattern içeren işleri en iyi uygulamalarla yeniden yazar ve öncesi/sonrası performansı ölçerek kazanımı doğrular.

Neden Bu Eğitim?

🧩Partition Ustalığı

Partition ve skew stratejisiyle paralelliği ve dengeyi optimize edersiniz.

🤝Join En İyi Uygulama

Broadcast, bucket ve skew join ile pahalı join'leri hızlandırırsınız.

📐Desen Bilgisi

Anti-pattern'leri tanıyıp kod düzeyi en iyi uygulamaları uygularsınız.

Anahtar Konular

spark performans optimizasyonuspark best practicesspark partitionbroadcast joindata skew saltingspark önbellekkryo serileştirmeparquet pushdownaqespark anti-pattern

“Performans tek bir sihirli ayar değil, tutarlı biçimde uygulanan küçük doğru kararların toplamıdır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Spark Deneyimi

Spark DataFrame/SQL ile pratik geliştirme deneyimi güçlü biçimde faydalıdır.

2

Plan Okuma

explain() ve Spark UI'ya temel aşinalık faydalıdır.

3

Dağıtık Sistem

Shuffle ve paralellik kavramlarına aşinalık beklenir.

4

Çalışma Ortamı

Spark UI erişilebilen bir küme/ortam.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, partition stratejisi ve skew giderme ile paralelliği optimize edebilir.

Modül 1

Partition Temelleri

Partition boyutu ve sayısı dengesi
Çok küçük/çok büyük partition maliyeti
spark.sql.shuffle.partitions ayarı
Varsayılan paralellik
Partition ve dosya ilişkisi
İdeal partition boyutu hedefi

Modül 2

repartition ve coalesce

repartition ile tam karıştırma
coalesce ile shuffle'sız azaltma
Yazma öncesi partition ayarı
Çıktı dosya sayısının kontrolü
Partition sütunu seçimi
Küçük dosya probleminin önlenmesi

Modül 3

Veri Çarpıklığı

Skew'in task süre dağılımında görünümü
Çarpık anahtarın tespiti
Salting ile skew dağıtımı
İzole edip ayrı işleme
AQE skew join otomatik çözümü
Skew sonrası doğrulama

Modül 4

Bölümlenmiş Veri Tasarımı

partitionBy ile bölümlenmiş yazma
Aşırı bölümlemenin zararı
Partition sütunu kardinalitesi
Partition pruning ile uyum
Dosya düzeni ve sıralama
Veri yerleşiminin sorguya etkisi

Günün hedefiKatılımcı, join stratejilerini uygulayarak pahalı join'leri optimize edebilir.

Modül 1

Join Stratejileri

Sort-merge join varsayılanı
Shuffle hash join
Broadcast hash join
Strateji seçiminin veri boyutuna bağlılığı
explain ile stratejinin görülmesi
Join stratejisi ipuçları (hint)

Modül 2

Broadcast Join

autoBroadcastJoinThreshold ayarı
broadcast() hint kullanımı
Küçük tablonun belleğe alınması
Shuffle'ın ortadan kalkması
Broadcast bellek sınırı
Broadcast'ın uygun olmadığı durum

Modül 3

Bucket ve Pre-Shuffle

bucketBy ile önceden bölümleme
Bucketed join ile shuffle'dan kaçınma
Bucket sayısı uyumu
Sıralama (sort) ile SMB benzeri avantaj
Tekrarlı join'de bucketing kazancı
Bucketing maliyeti ve dengesi

Modül 4

Join Sırası ve Skew

Çoklu join'de sıranın maliyeti
Küçük sonucun önce üretilmesi
Filtrelerin join öncesine itilmesi
Skew join optimizasyonu
Kartezyen (cross) join'den kaçınma
Join sonucu boyutunun kontrolü

Günün hedefiKatılımcı, format ve önbellek kararlarıyla okunan veriyi ve maliyeti azaltabilir.

Modül 1

Kolonlu Format

Parquet/ORC sütun tabanlı avantajı
Sütun seçiminde (projection) kazanç
Sıkıştırma seçimi (Snappy/Zstd)
Dosya boyutu ve blok uyumu
Şema evrimi
Format dönüşümü kararı

Modül 2

Pushdown ve Atlama

Predicate pushdown
Projection pushdown
Partition pruning
İstatistikle veri atlama
Pushdown'ı engelleyen durumlar
Okunan bayt miktarının ölçümü

Modül 3

Önbellekleme

cache/persist ve seviye seçimi
Önbelleğin fayda koşulu
Serialized cache ile bellek tasarrufu
unpersist disiplini
Önbellek-execution bellek çekişmesi
Önbellek kararının doğrulanması

Modül 4

Serileştirme

Kryo ile Java serileştirme farkı
Sınıf kaydı
Shuffle ve cache'te serileştirme etkisi
Serileştirme boyutunun ölçümü
Veri yapısı seçimi
Serileştirme en iyi uygulamaları

Günün hedefiKatılımcı, kod düzeyi en iyi uygulamalarla işleri yeniden yazıp hızlandırabilir.

Modül 1

Anti-Pattern'ler

Gereksiz collect ve driver yükü
Gereksiz shuffle üreten desenler
groupByKey yerine reduceByKey
Döngü içinde Spark action
Çok sayıda küçük iş
Anti-pattern'in planla tespiti

Modül 2

Fonksiyon ve UDF

UDF yerine yerleşik fonksiyon
pandas UDF (vectorized) tercihi
Katalog fonksiyonlarının kullanımı
UDF'in optimizasyonu engellemesi
Kolon ifadeleriyle sadeleştirme
Fonksiyon seçiminin plana etkisi

Modül 3

AQE En İyi Uygulamalar

AQE'nin etkinleştirilmesi
Dinamik partition coalescing
Skew join otomatik çözümü
Runtime istatistik kullanımı
AQE ile elle ayar dengesi
AQE etkisinin doğrulanması

Modül 4

Ölçüm ve Süreç

Öncesi/sonrası benchmark
Spark UI ile darboğaz tespiti
En iyi uygulama kontrol listesi
Performans regresyon takibi
Ekip içi standartlaştırma
Optimizasyon kararlarının belgelenmesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Partition

Partition boyutu, repartition/coalesce ile paralelliği optimize edersiniz.

✅

Skew

Salting ve AQE ile veri çarpıklığını giderirsiniz.

✅

Join

Broadcast, bucket ve skew join ile pahalı join'leri hızlandırırsınız.

✅

Format

Parquet/ORC ve pushdown ile okunan veriyi azaltırsınız.

✅

Önbellek

cache/persist kararını metrikle doğrulayarak uygularsınız.

✅

Serileştirme

Kryo ile shuffle ve cache maliyetini düşürürsünüz.

✅

Anti-Pattern

Gereksiz shuffle/collect gibi anti-pattern'leri tanıyıp giderirsiniz.

✅

En İyi Uygulama

AQE ve kod desenleriyle işleri sistematik hızlandırırsınız.

Kimler İçin Uygundur?

Spark işlerini sistematik hızlandırmak
en iyi uygulamaları ekibine kazandırmak isteyen veri mühendisleri ve Spark geliştiricileri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Spark işlerini sistematik hızlandırmak ve en iyi uygulamaları ekibine kazandırmak isteyen veri mühendisleri ve Spark geliştiricileri için uygundur.

Bu eğitimin mimari/tuning eğitiminden farkı nedir?

Bu eğitim kod ve veri tasarımı düzeyinde uygulanabilir en iyi uygulamalara ve anti-pattern'lere odaklanır; mimari eğitimi motor içini, tuning eğitimi ise izleme ve ayar parametrelerini ele alır.

En büyük performans kazancı nereden gelir?

Çoğu işte gereksiz shuffle'ı azaltmak, doğru join stratejisi ve kolonlu format ile pushdown en büyük kazancı sağlar; eğitim bunları öncesi/sonrası ölçümle gösterir.

AQE elle ayarın yerini tutar mı?

AQE partition sayısı, join stratejisi ve skew'i çalışma anında uyarlayarak birçok elle ayarı azaltır ama tasarım kararlarının (format, partitionlama) yerini tutmaz; eğitim dengeyi ele alır.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

SPARK PERFORMANCE OPTIMIZATION AND BEST PRACTICES EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Partition Temelleri

repartition ve coalesce

Veri Çarpıklığı

Bölümlenmiş Veri Tasarımı

Join Stratejileri

Broadcast Join

Bucket ve Pre-Shuffle

Join Sırası ve Skew

Kolonlu Format

Pushdown ve Atlama

Önbellekleme

Serileştirme

Anti-Pattern'ler

Fonksiyon ve UDF

AQE En İyi Uygulamalar

Ölçüm ve Süreç

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Filtering Data Using Hadoop MapReduce Eğitimi

Foundations of Apache Kafka: Concepts, Architecture, & Core Principles Eğitimi

Getting Started with Hive Eğitimi

Graph Modeling on Apache Spark: Working with Apache Spark GraphFrames Eğitimi

Hadoop & MapReduce Getting Started Eğitimi