Apache Spark'a Giriş Eğitimi

Eğitim Hakkında

Spark mimarisi, RDD/DataFrame, dönüşüm/eylem ve ilk işler

Bu giriş eğitimi, Apache Spark'ı veri işleme bağlamında temelden tanıtır. Katılımcılar Spark'ın neden MapReduce'tan hızlı olduğunu, bellek içi (in-memory) işleme ve dağıtık yürütme modelini kavrar; driver, executor, cluster manager ve job/stage/task kavramlarını öğrenir. RDD soyutlaması, dönüşüm (transformation) ve eylem (action) ayrımı, lazy evaluation ve DAG; ardından DataFrame API ile yapılandırılmış veri işleme, select/filter/groupBy ve Spark SQL temeli uygulanır. Veri okuma/yazma (CSV, JSON, Parquet), temel özellikler ve ilk uçtan uca bir veri işleme işi ele alınır. Eğitim, Spark UI ile iş izleme ve sonraki adımlarla tamamlanır.

Süre ve Format

2 Gün. Her gün dört modül; Spark mimarisinden RDD/DataFrame ile ilk veri işleme işine ilerlenir.

Seviye

Temel Seviye — Apache Spark'a giriş; dağıtık işleme modeli, RDD/DataFrame ve ilk veri işleme uygulamaları.

Öğrenme Metodu

Katılımcılar PySpark veya Spark shell üzerinde RDD ve DataFrame dönüşümlerini çalıştırıp ilk veri işleme işini uçtan uca uygular.

Neden Bu Eğitim?

⚡Hızlı İşleme

Bellek içi dağıtık işleme modelini ve neden hızlı olduğunu kavrarsınız.

🧱Temel API

RDD ve DataFrame API'siyle veri işlemenin temelini sağlam atarsınız.

🔭İş İzleme

Spark UI ile job/stage/task yürütmesini anlayıp izlersiniz.

Anahtar Konular

spark girişapache spark başlangıçspark temellerirdd dataframespark sqlspark mimarisipyspark girişdağıtık işlemedönüşüm eylembüyük veri işleme

“Spark, büyük veriyi tek makinenin sınırlarının ötesinde ama tek bir API'nin sadeliğiyle işler.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Temel Programlama

Python veya Scala'da basit kod yazabilme güçlü biçimde faydalıdır.

2

SQL (faydalı)

Temel SQL bilgisi DataFrame kısmında kolaylık sağlar.

3

Veri Kavramı

Satır, sütun ve dosya formatı kavramlarına aşinalık faydalıdır.

4

Çalışma Ortamı

Spark kurulu bir ortam veya Databricks/Jupyter erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Spark mimarisini açıklayıp RDD dönüşüm ve eylemlerini uygulayabilir.

Modül 1

Neden Spark?

MapReduce'un disk tabanlı maliyeti
Spark'ın bellek içi işleme avantajı
Dağıtık işlemenin ölçek kazanımı
Batch, akış ve ML için birleşik motor
Spark kullanım senaryoları
Ekosistem bileşenleri (SQL, Streaming, MLlib)

Modül 2

Spark Mimarisi

Driver program ve SparkSession
Executor ve task yürütme
Cluster manager (standalone/YARN/K8s)
Job, stage ve task hiyerarşisi
Partition ile paralellik
Shuffle'ın maliyeti ve nedeni

Modül 3

RDD Temelleri

RDD'nin dağıtık değişmez (immutable) koleksiyon olması
parallelize ve dosyadan RDD oluşturma
Partition dağılımı
RDD'nin dayanıklılığı (lineage)
Dönüşüm ve eylem ayrımı
RDD ile DataFrame farkına giriş

Modül 4

Dönüşüm ve Eylem

map, filter, flatMap dönüşümleri
reduceByKey ve groupByKey farkı
collect, count, take eylemleri
Lazy evaluation mantığı
DAG oluşumu ve tetiklenmesi
persist/cache ile yeniden kullanım

Günün hedefiKatılımcı, DataFrame ve Spark SQL ile ilk veri işleme işini uçtan uca yapabilir.

Modül 1

DataFrame Temelleri

DataFrame'in şemalı tablo soyutlaması
RDD'ye göre optimizasyon avantajı (Catalyst)
DataFrame oluşturma yolları
printSchema ve show ile inceleme
Sütun ifadeleri ve col()
DataFrame ile RDD dönüşümü

Modül 2

Dönüşümler

select ve filter ile sorgulama
withColumn ile sütun türetme
groupBy ve agg ile toplama
orderBy ile sıralama
join ile tabloları birleştirme
distinct ve dropDuplicates

Modül 3

Spark SQL

createOrReplaceTempView ile geçici görünüm
spark.sql ile SQL sorgusu
SQL ve DataFrame API eşdeğerliği
Yerleşik fonksiyonlar (functions)
Katalog ve tablo kavramı
SQL sonucunun DataFrame'e dönüşü

Modül 4

Veri Okuma/Yazma ve İzleme

CSV, JSON ve Parquet okuma
Şema çıkarımı ve elle şema
write ile çıktı ve mod (overwrite/append)
Parquet'in sütun tabanlı avantajı
Spark UI ile job/stage izleme
İlk uçtan uca veri işleme işinin çalıştırılması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Spark Avantajı

Bellek içi dağıtık işlemenin neden hızlı olduğunu açıklarsınız.

✅

Mimari

Driver, executor, job/stage/task kavramlarını kavrarsınız.

✅

RDD

map/filter/reduceByKey dönüşüm ve eylemlerini uygularsınız.

✅

Lazy/DAG

Lazy evaluation ve DAG oluşumunu anlarsınız.

✅

DataFrame

select, filter, groupBy ile yapılandırılmış veri işlersiniz.

✅

Spark SQL

Geçici görünüm ve spark.sql ile SQL sorgusu çalıştırırsınız.

✅

Veri G/Ç

CSV, JSON ve Parquet okuyup yazarsınız.

✅

İzleme

Spark UI ile ilk işinizin yürütmesini izlersiniz.

Kimler İçin Uygundur?

Büyük veri işlemeye yeni başlayan yazılımcılar
veri analistleri
Spark'ı temelden öğrenmek isteyen teknik profesyoneller için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Büyük veri işlemeye yeni başlayan yazılımcılar, veri analistleri ve Spark'ı temelden öğrenmek isteyen teknik profesyoneller için uygundur.

Spark neden MapReduce'tan hızlıdır?

Spark ara sonuçları diske yazmak yerine bellekte tutabilir ve DAG tabanlı yürütmeyle gereksiz adımları azaltır; bu özellikle yinelemeli işlemlerde büyük hız kazandırır.

RDD mi DataFrame mi kullanmalıyım?

Çoğu durumda DataFrame tercih edilir çünkü Catalyst optimizasyonundan yararlanır ve daha sadedir; RDD düşük seviye kontrol gerektiren özel durumlar için kalır.

Önceden büyük veri bilmem gerekir mi?

Hayır; eğitim dağıtık işleme kavramlarını sıfırdan ele alır, temel programlama ve isteğe bağlı SQL bilgisi yeterlidir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

PROCESSING DATA: INTRODUCING APACHE SPARK EĞİTİMİ