Anasayfa›Veri ve Analitik›Büyük Veri Teknolojileri
Veri ve Analitik Büyük Veri Teknolojileri

APACHE SPARK EĞİTİMİ

Spark ile büyük veriyi hızla işleyin

RDD, DataFrame, Spark SQL ve Structured Streaming ile bellek içi dağıtık veri işlemeyi uçtan uca öğrenin.

Spark mimarisi, RDD, DataFrame/Dataset, Spark SQL, Structured Streaming ve Catalyst/shuffle optimizasyonunu uçtan uca kapsayan uygulamalı Spark eğitimi.

4 gün Orta Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Spark Core'dan akış işlemeye uçtan uca yetkinlik

Bu eğitim, Apache Spark'ı temelden uçtan uca öğretir. Spark mimarisi (driver, executor, DAG, lazy evaluation), RDD dönüşümleri ve action'lar; DataFrame/Dataset API ile select/filter/groupBy/join işlenir. Spark SQL, Catalyst optimizer, kaynak okuma/yazma (Parquet/JSON/JDBC), UDF ve window fonksiyonları; Structured Streaming ile akış işleme uygulamalı ele alınır. Partitioning, shuffle, cache, broadcast join ve temel performans ayarı gösterilir.

Süre ve Format

4 Gün. Her gün dört modül; PySpark/Scala ile dönüşüm ve sorgu yazma ağırlıklı labler.

Seviye

Orta Seviye — Spark Core, DataFrame/Dataset, Spark SQL ve Structured Streaming'i uçtan uca kapsar.

Öğrenme Metodu

Gerçek veri setleri üzerinde Spark işleri yazıp Spark UI ile inceleyerek uygulanır.

Neden Bu Eğitim?

⚡Bellek İçi Hız

Bellek içi işleme ve DAG ile büyük veriyi yüksek hızda işlersiniz.

🧰Tek Platform

Batch, SQL ve akış işlemeyi tek bir motorda birleştirirsiniz.

📈Ölçeklenebilirlik

Partition ve paralellik ile kümede yatay ölçekleme kurarsınız.

Anahtar Konular

apache spark eğitimispark rddspark dataframespark sqlstructured streamingcatalyst optimizerpysparkspark shufflebüyük veri işleme
“Spark, büyük veriyi beklemekten işlemeye geçiren motordur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
Programlama

Python veya Scala'da temel kod yazabilmek gerekir.

2
SQL

Temel SELECT/JOIN sorguları faydalıdır.

3
Linux

Terminal ve dosya işlemleri beklenir.

4
Lab Ortamı

Spark kurulu bir makine veya küme erişimi gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Spark mimarisini kavrar ve RDD dönüşümleri yazabilir.
Modül 1
Mimari
  • Driver, executor, cluster manager
  • DAG ve lazy evaluation
  • Transformation vs action
  • Narrow/wide dependency
  • Shuffle kavramı
  • Spark UI tanıma
Modül 2
SparkSession
  • SparkSession ve SparkContext
  • Yapılandırma (conf)
  • Yerel vs cluster mod
  • spark-submit temeli
  • Loglama ayarı
  • İlk uygulama
Modül 3
RDD Dönüşümleri
  • map, filter, flatMap
  • reduceByKey vs groupByKey
  • join ve union
  • distinct ve sortBy
  • Partition sayısı
  • Örnek işleme
Modül 4
RDD İleri
  • persist/cache ve storage level
  • Broadcast değişken
  • Accumulator
  • mapPartitions
  • Checkpoint
  • Performans notları
Günün hedefiKatılımcı DataFrame API ve Spark SQL ile yapılandırılmış veri işleyebilir.
Modül 1
DataFrame API
  • DataFrame ve şema
  • select, filter, withColumn
  • groupBy ve agg
  • orderBy ve limit
  • Null yönetimi
  • DataFrame-RDD ilişkisi
Modül 2
Join ve Window
  • Join türleri
  • Broadcast join
  • Window fonksiyonları
  • PARTITION BY/ORDER BY
  • Pivot
  • Join tuzakları
Modül 3
Spark SQL
  • Temp view ve SQL
  • Catalog ve veritabanı
  • Hive metastore
  • SQL-DataFrame geçişi
  • UDF kaydı
  • Sorgu çalıştırma
Modül 4
Veri Kaynakları
  • Parquet/JSON/CSV okuma/yazma
  • JDBC ile veritabanı
  • partitionBy yazma
  • Şema çıkarımı
  • Format seçimi
  • Veri doğrulama
Günün hedefiKatılımcı Spark işlerini temel performans tekniklerle optimize edebilir.
Modül 1
Catalyst
  • Logical/physical plan
  • explain() okuma
  • Predicate/projection pushdown
  • Partition pruning
  • Rule-based optimizasyon
  • AQE girişi
Modül 2
Shuffle
  • Shuffle nedeni ve maliyeti
  • spark.sql.shuffle.partitions
  • repartition vs coalesce
  • Sort/hash shuffle
  • Spill davranışı
  • Shuffle azaltma
Modül 3
Skew ve Join
  • Veri çarpıklığı tespiti
  • Salting
  • Broadcast eşiği
  • AQE skew join
  • Partition dengeleme
  • Hot key
Modül 4
Caching
  • Cache ne zaman
  • Storage level seçimi
  • Bellek baskısı
  • Checkpoint ile lineage kesme
  • Yeniden kullanım
  • Cache temizleme
Günün hedefiKatılımcı Structured Streaming ile akış işler ve işleri üretime hazırlar.
Modül 1
Structured Streaming
  • Unbounded tablo modeli
  • readStream/writeStream
  • Trigger ve output mode
  • Kafka source/sink
  • checkpointLocation
  • Akış doğrulama
Modül 2
Event-Time
  • Watermark
  • Pencereli toplama
  • Geç veri yönetimi
  • Stateful aggregation
  • foreachBatch
  • Çıktı idempotency
Modül 3
Dağıtım
  • spark-submit parametreleri
  • deploy-mode
  • Kaynak ayarı (executor)
  • Dinamik tahsis
  • Loglama ve izleme
  • İş durumu
Modül 4
Operasyon
  • Spark UI ile tanılama
  • Bellek ve GC
  • Darboğaz tespiti
  • Hata ve yeniden deneme
  • Zamanlama (Airflow)
  • Kapasite planlama

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Mimari

Driver/executor, DAG ve shuffle kavramlarını açıklarsınız.

✅
RDD

RDD dönüşümleri ve action'ları ile veri işlersiniz.

✅
DataFrame

DataFrame API ile yapılandırılmış dönüşümler yazarsınız.

✅
Spark SQL

SQL ve metastore ile analitik çalıştırırsınız.

✅
Optimizasyon

Catalyst, shuffle ve cache ile işleri hızlandırırsınız.

✅
Skew

Salting ve broadcast join ile çarpıklığı yönetirsiniz.

✅
Streaming

Structured Streaming ile akış işleme kurarsınız.

✅
Üretim

Dağıtım ve izlemeyle işleri üretime alırsınız.

Kimler İçin Uygundur?

  • Büyük veri işlemeye başlayan geliştiriciler
  • veri mühendisleri
  • analistler

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Büyük veri işlemeye başlayan geliştiriciler, veri mühendisleri ve analistler için uygundur.
Python mı Scala mı?
Örnekler ağırlıkla PySpark ile ilerler; Scala farkları da gösterilir.
RDD mı DataFrame mi öğrenmeliyim?
İkisi de işlenir; DataFrame'in Catalyst ile neden tercih edildiği uygulamalı gösterilir.
Akış işleme var mı?
Evet; son gün Structured Streaming ile Kafka'dan akış işleme uygulanır.
Sertifika veriliyor mu?
Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Apache Spark Eğitimi Sertifika Kodu DV-2026XX00 Tarih 26.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre4 gün
SeviyeOrta Seviye
FormatOnline / Yüz Yüze / Hibrit
AlanVeri ve Analitik
KonuBüyük Veri Teknolojileri
Sertifika✓ Var
Hemen Bilgi Al
Bilgi için:
+90 (501) 369 40 14
[email protected]
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Büyük Veri TeknolojileriReal-Time Big Data Processing with Apache Storm Eğitimi
Veri ve Analitik Eğitimleri

Real-Time Big Data Processing with Apache Storm Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

Apache Storm eğitimi: topology, spout/bolt, stream grouping, acking, pencereleme ve Trident ile düşük gecikmeli gerçek zamanlı işleme kurun.

Detayları Gör →
Büyük Veri TeknolojileriAdvanced ETL Testing: Big Data ETL Testing Eğitimi
Veri ve Analitik Eğitimleri

Advanced ETL Testing: Big Data ETL Testing Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

Büyük veri ETL testi: source-to-target doğrulama, reconciliation, veri kalitesi, şema, SCD ve performans testini SQL/PySpark ile öğrenin.

Detayları Gör →
Büyük Veri TeknolojileriAdvanced Flink Programming Eğitimi
Veri ve Analitik Eğitimleri

Advanced Flink Programming Eğitimi

4 günİleriOnline / Yüz Yüze / Hibrit

Apache Flink ileri eğitimi: event-time, watermark, keyed state, checkpoint, Flink SQL, streaming join ve CEP ile exactly-once akış uygulamaları.

Detayları Gör →
Büyük Veri TeknolojileriAdvanced Hadoop Spark & SQL on Hadoop Eğitimi
Veri ve Analitik Eğitimleri

Advanced Hadoop Spark & SQL on Hadoop Eğitimi

4 günİleriOnline / Yüz Yüze / Hibrit

İleri Hadoop/Spark ayarı, YARN kuyrukları, Spark shuffle/skew/AQE tuning ve Hive/Impala/Trino ile SQL-on-Hadoop optimizasyonunu öğrenin.

Detayları Gör →
Büyük Veri TeknolojileriAdvanced Kafka-Spark Streaming Patterns and Production Readiness Eğitimi
Veri ve Analitik Eğitimleri

Advanced Kafka-Spark Streaming Patterns and Production Readiness Eğitimi

4 günUzmanOnline / Yüz Yüze / Hibrit

Kafka ve Spark Structured Streaming ile exactly-once, watermark, stateful join, state store ve üretim operasyonunu uzman düzeyde öğrenin.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn