Spark ile Akış Verisi İşleme Eğitimi

Eğitim Hakkında

Pencereleme, watermark, stateful işleme, sink'ler ve hata toleransı

Bu eğitim, Spark Structured Streaming ile akış verisini işlemeyi akış mimarisi serisinin devamı olarak derinleştirir. Katılımcılar olay zamanı (event-time) işleme, tumbling/sliding/session pencereleri ve watermark ile geç gelen veri yönetimini uygular; stateful toplamalar, dropDuplicates ile tekilleştirme ve mapGroupsWithState ile özel durum işlemeyi kurar. Kaynaklar (Kafka, dosya), çeşitli sink'ler (Kafka, dosya/Delta, foreachBatch ile DB), çıkış modları ve trigger ayarı işlenir. Checkpoint tabanlı hata toleransı, teslim garantileri ve akış sorgusunun izlenmesi (progress) ele alınır. Eğitim, gerçek zamanlı toplama ve zenginleştirme içeren bir akış hattının uçtan uca kurulmasıyla tamamlanır.

Süre ve Format

3 Gün. Her gün dört modül; olay zamanlı pencerelemeden stateful işlemeye ve sink'li dayanıklı hatta ilerlenir.

Seviye

Orta Seviye — Spark ile akış verisi işleme: olay zamanlı pencereleme, watermark, stateful işlemler, sink'ler ve hata toleransı.

Öğrenme Metodu

Katılımcılar Kafka/dosya kaynaklı akışlarda pencereleme, watermark ve stateful işlemleri kod yazarak uygular ve checkpoint'lı sink'lere yazar.

Neden Bu Eğitim?

🪟Pencereleme

Olay zamanlı tumbling/sliding/session pencereleri doğru kurarsınız.

🧬Stateful İşleme

Watermark'lı stateful toplama ve özel durumla akışı işlersiniz.

🛡️Dayanıklılık

Checkpoint'lı sink'ler ve teslim garantileriyle güvenilir hat kurarsınız.

Anahtar Konular

spark akış işlemestructured streamingolay zamanı pencerelemewatermarkstateful işlemestream joinforeachbatch sinkcheckpointdropduplicatesakış hattı

“Akış verisini işlemek, hareket halindeki bir trene doğru zamanda ve kayıpsız binmek gibidir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Structured Streaming

readStream/writeStream ve temel akış kavramlarına aşinalık güçlü biçimde faydalıdır.

2

Spark DataFrame

DataFrame dönüşümleri ve Spark SQL'e aşinalık beklenir.

3

Kafka (faydalı)

Temel Kafka topic/offset bilgisi faydalıdır.

4

Çalışma Ortamı

Spark ve ideal olarak Kafka içeren bir ortam erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, olay zamanlı pencereleri ve watermark'ı doğru biçimde kurabilir.

Modül 1

Olay Zamanı İşleme

Event-time ve processing-time farkı
Zaman damgası sütununun hazırlanması
Kafka timestamp ve gömülü zaman
Zaman dilimi ve saat kayması
Olay zamanının doğruluğa etkisi
Olay sırasının (out-of-order) gerçekliği

Modül 2

Pencere Türleri

Tumbling (sabit) pencere
Sliding (kayan) pencere
Session (oturum) penceresi
window() fonksiyonu kullanımı
Pencere + groupBy toplama
Pencere aralığı seçimi

Modül 3

Watermark

withWatermark ile geç veri eşiği
State temizliği ve bellek sınırı
Allowed lateness davranışı
Eşik dışı kayıtların düşürülmesi
Doğruluk-gecikme dengesi
Watermark'ın pencereyi kapatması

Modül 4

Pencereli Toplama

Pencereli count/sum/avg
Çıkış modunun (append/update) etkisi
Pencere sonucunun yorumu
Çoklu metrik pencere toplaması
Geç veri ile sonucun güncellenmesi
Pencereli sonucun sink'e yazımı

Günün hedefiKatılımcı, stateful işlemler ve join ile akışta karmaşık mantık kurabilir.

Modül 1

Stateful Toplama

Akışta sürekli güncellenen durum
State store kavramı
Toplamanın bellekte tutulması
Watermark ile state temizliği
State büyümesinin sınırlanması
Durumun checkpoint'le kalıcılığı

Modül 2

Tekilleştirme

dropDuplicates ile tekilleştirme
dropDuplicatesWithinWatermark
Tekilleştirme anahtarı seçimi
Yinelenen olayların kaynağı
State ve bellek etkisi
İdempotent işleme ile ilişki

Modül 3

Özel Durum İşleme

mapGroupsWithState mantığı
flatMapGroupsWithState esnekliği
GroupState ve timeout
Oturum (sessionization) örneği
Durum şeması tasarımı
Özel durumun kullanım senaryoları

Modül 4

Join ve Zenginleştirme

Stream-static join ile referans tablo
Stream-stream join ve çift watermark
Join zaman aralığı koşulu
Broadcast ile küçük tablo
foreachBatch ile dış lookup
Zenginleştirmede gecikme yönetimi

Günün hedefiKatılımcı, işlenen akışı dayanıklı sink'lere yazıp hattı izleyebilir.

Modül 1

Sink Türleri

Kafka sink ile başka topic'e yazma
Dosya/Delta sink ile kalıcı yazma
foreachBatch ile DB'ye yazma
foreach ile satır bazlı yazma
partitionBy ile bölümlenmiş çıktı
Sink ve çıkış modu uyumu

Modül 2

Checkpoint ve Garanti

checkpointLocation yapısı
Offset ve state kalıcılığı
At-least-once ve exactly-once
İdempotent/transactional sink
Hatadan kaldığı yerden devam
Garantinin doğrulanması

Modül 3

Trigger ve Hız

processingTime trigger
availableNow ve once trigger
maxOffsetsPerTrigger ile hız sınırı
Mikro-batch süresi hedefi
Backpressure sezgisi
Trigger seçiminin etkisi

Modül 4

İzleme ve Uçtan Uca Hat

StreamingQuery progress metrikleri
inputRowsPerSecond ve processingTime
Kaynak → işleme → sink hattı
Hatalı kayıt yönetimi
Yeniden başlatma ve kurtarma
Uçtan uca hattın doğrulanması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Olay Zamanı

Event-time işleme ve zaman damgası hazırlamayı uygularsınız.

✅

Pencereleme

Tumbling/sliding/session pencereleri doğru kurarsınız.

✅

Watermark

Geç veriyi watermark ile yönetip state'i sınırlarsınız.

✅

Stateful

mapGroupsWithState ile özel durum işleme kurarsınız.

✅

Tekilleştirme

dropDuplicates ile akışta yinelenen olayları temizlersiniz.

✅

Join

Stream-static ve stream-stream join ile zenginleştirirsiniz.

✅

Sink

Kafka, Delta ve foreachBatch sink'lerine dayanıklı yazarsınız.

✅

Dayanıklı Hat

Checkpoint ve izlemeyle uçtan uca güvenilir hat kurarsınız.

Kimler İçin Uygundur?

Structured Streaming temeli olan
akış verisini üretim mantığıyla işlemek isteyen veri mühendisleri ve akış uygulaması geliştiricileri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Structured Streaming temeli olan ve akış verisini üretim mantığıyla işlemek isteyen veri mühendisleri ve akış uygulaması geliştiricileri için uygundur.

Bu eğitim giriş eğitiminden farkı nedir?

Giriş eğitimi akış kavramlarını ve temel uygulamayı ele alır; bu eğitim ise olay zamanlı pencereleme, watermark, stateful işleme ve dayanıklı sink'lere odaklanarak işleme tarafını derinleştirir.

Session penceresi ne zaman kullanılır?

Olayların etkinlik bazlı gruplandığı (örneğin bir kullanıcının oturumu) ve sabit aralıkların uygun olmadığı durumlarda kullanılır; eğitim tumbling/sliding ile karşılaştırır.

Stateful işlemede bellek nasıl kontrol edilir?

Watermark ile eşik dışındaki durum temizlenir ve state store disk destekli çalışabilir; eğitim state büyümesini sınırlama yöntemlerini gösterir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

STREAMING DATA ARCHITECTURES: PROCESSING STREAMING DATA WITH SPARK EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Olay Zamanı İşleme

Pencere Türleri

Watermark

Pencereli Toplama

Stateful Toplama

Tekilleştirme

Özel Durum İşleme

Join ve Zenginleştirme

Sink Türleri

Checkpoint ve Garanti

Trigger ve Hız

İzleme ve Uçtan Uca Hat

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Hadoop HDFS File Permissions Eğitimi

Hadoop HDFS Getting Started Eğitimi

Hadoop MapReduce Applications With Combiners Eğitimi

Hadoop on Amazon EMR Eğitimi

Hadoop Quick Start Eğitimi