Kafka ve Spark Entegrasyonu Eğitimi

Eğitim Hakkında

Kafka kaynağı/sink, offset yönetimi, dönüşümler ve exactly-once

Bu eğitim, Apache Kafka ile Apache Spark Structured Streaming entegrasyonunu uçtan uca öğretir. Katılımcılar Spark'ın Kafka source ve sink connector'ını kullanarak readStream ile topic'ten okuma, key/value ayrıştırma (from_json), startingOffsets ve endingOffsets ile offset yönetimini uygular. Akan veri üzerinde filtreleme, zenginleştirme, olay zamanlı pencereleme ve toplamalar yapar; sonucu writeStream ile başka bir Kafka topic'ine, dosya sistemine veya foreachBatch ile veri tabanına yazar. Checkpoint, exactly-once/at-least-once teslim garantileri, maxOffsetsPerTrigger ile hız sınırı ve backpressure ele alınır. Eğitim, uçtan uca bir Kafka→Spark→hedef akış hattının kurulmasıyla tamamlanır.

Süre ve Format

3 Gün. Her gün dört modül; Kafka-Spark entegrasyonundan akış dönüşümlerine ve dayanıklı hat tasarımına ilerlenir.

Seviye

Orta Seviye — Apache Kafka ile Apache Spark Structured Streaming entegrasyonu; Kafka'dan veri okuma, işleme ve yazma.

Öğrenme Metodu

Katılımcılar Spark Structured Streaming ile Kafka'dan canlı okuyup işler ve sonucu Kafka/dosya/DB hedefine yazarak uçtan uca bir hat çalıştırır.

Neden Bu Eğitim?

🔗Kafka-Spark Köprüsü

Kafka source/sink ile Spark akışını Kafka'ya sorunsuz bağlarsınız.

🎯Offset Kontrolü

startingOffsets ve checkpoint ile tekrar güvenli okuma sağlarsınız.

🛡️Garanti

Exactly-once ve idempotent yazma ile veri kaybını ve çiftlenmeyi önlersiniz.

Anahtar Konular

kafka spark entegrasyonuspark structured streamingkafka source sinkfrom_jsonoffset yönetimiexactly onceakış işlemeforeachbatchwatermarkgerçek zamanlı hat

“Kafka veriyi taşır, Spark ona anlam katar; birlikte gerçek zamanlı veri işlemenin omurgasını oluşturur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Spark Temeli

Spark DataFrame API ve PySpark/Scala temeli güçlü biçimde faydalıdır.

2

Kafka Temeli

Topic, partition ve consumer group kavramlarına aşinalık beklenir.

3

Akış Kavramı

Olay zamanı ve pencereleme kavramlarına temel aşinalık faydalıdır.

4

Çalışma Ortamı

Spark ve Kafka içeren bir ortam (Docker/Databricks) erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Spark Structured Streaming ile Kafka'dan veri okuyabilir.

Modül 1

Kafka Source Yapılandırması

spark-sql-kafka connector bağımlılığı
readStream.format('kafka') kullanımı
kafka.bootstrap.servers ve subscribe ayarı
subscribePattern ile çoklu topic
assign ile belirli partition'lar
Kafka source'un döndürdüğü şema (key, value, offset, timestamp)

Modül 2

Değer Ayrıştırma

value sütununun binary'den string'e çevrimi
from_json ile JSON ayrıştırma
Şema tanımı (StructType) ile alanlar
Avro için from_avro kullanımı
Key'in işlenmesi ve kullanımı
Hatalı kaydın (malformed) yönetimi

Modül 3

Offset Yönetimi

startingOffsets: earliest/latest/belirli offset
endingOffsets ile batch okuma sınırı
Checkpoint ile offset kalıcılığı
failOnDataLoss davranışı
Consumer group'un Spark'ta yönetimi
Offset tutarlılığının doğrulanması

Modül 4

Batch ve Akış Okuma

read ile Kafka'dan batch okuma
readStream ile sürekli okuma
Mikro-batch yürütmenin gözlemi
maxOffsetsPerTrigger ile hız sınırı
Trigger seçenekleri
Okuma hızının izlenmesi

Günün hedefiKatılımcı, Kafka'dan gelen akışı dönüştürüp olay zamanlı toplamalar yapabilir.

Modül 1

Temel Dönüşümler

select, filter ve withColumn ile dönüşüm
Kafka timestamp'ın olay zamanı olarak kullanımı
Tip dönüşümü ve alan türetme
Stateless işleme mantığı
Kolon bazlı maskeleme/temizleme
Dönüşüm sonucu şemanın doğrulanması

Modül 2

Zenginleştirme

Stream-static join ile referans tabloyla birleştirme
Broadcast ile küçük boyut tablosu
Lookup ile kodların açıklamaya çevrimi
foreachBatch içinde dış kaynak sorgusu
Zenginleştirmede gecikme yönetimi
Önbellek ile tekrar sorgunun azaltılması

Modül 3

Olay Zamanlı Pencereleme

window() ile tumbling/sliding pencere
withWatermark ile geç veri toleransı
Pencereli count/sum/avg toplamaları
Pencere + groupBy kombinasyonu
State store'un yönetimi
Pencere sonucunun çıkış modu

Modül 4

Durumlu İşlemler

dropDuplicates ile tekilleştirme
Stream-stream join gereksinimleri
flatMapGroupsWithState ile özel durum
State büyümesinin sınırlanması
Durumlu işlemde partition etkisi
Durum kurtarmanın checkpoint ile ilişkisi

Günün hedefiKatılımcı, işlenen akışı hedeflere yazıp uçtan uca dayanıklı hat kurabilir.

Modül 1

Kafka Sink

writeStream.format('kafka') ile yazma
key ve value sütunlarının hazırlanması
to_json ile çıktının serileştirilmesi
topic sütunu ile dinamik yönlendirme
checkpointLocation gereği
Kafka'ya idempotent yazma

Modül 2

Diğer Sink'ler

Dosya sink ile Parquet/Delta yazma
foreachBatch ile JDBC veri tabanına yazma
foreach ile satır bazlı özel yazma
console/memory ile geliştirme
partitionBy ile bölümlenmiş çıktı
Sink'in çıkış moduyla uyumu

Modül 3

Teslim Garantileri

At-least-once ile tekrar riski
Exactly-once koşulları
İdempotent sink tasarımı
Checkpoint ile kaldığı yerden devam
Hata kurtarmada offset tutarlılığı
foreachBatch ile transactional yazma

Modül 4

Uçtan Uca Hat

Kafka → Spark → Kafka/DB akış tasarımı
Backpressure ve hız sınırlama
İzleme: progress ve metrikler
Hatalı kayıt (dead letter) yönetimi
Yeniden başlatma ve kurtarma testi
Uçtan uca gecikmenin ölçülmesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Kafka Source

Spark ile Kafka'dan readStream kurup değerleri ayrıştırırsınız.

✅

Offset Yönetimi

startingOffsets ve checkpoint ile tekrar güvenli okursunuz.

✅

Dönüşüm

Akan Kafka verisini filtreleyip zenginleştirirsiniz.

✅

Pencereleme

Olay zamanlı pencere ve watermark ile toplama yaparsınız.

✅

Kafka Sink

İşlenen akışı to_json ile başka topic'e yazarsınız.

✅

Çoklu Sink

foreachBatch ile DB ve dosya sistemine yazarsınız.

✅

Garanti

Exactly-once ve idempotent yazma ile veri bütünlüğü sağlarsınız.

✅

Uçtan Uca Hat

Kafka→Spark→hedef dayanıklı akış hattını kurarsınız.

Kimler İçin Uygundur?

Kafka
Spark'ı birlikte kullanarak gerçek zamanlı veri hatları kuracak veri mühendisleri ve akış işleme geliştiricileri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Kafka ve Spark'ı birlikte kullanarak gerçek zamanlı veri hatları kuracak veri mühendisleri ve akış işleme geliştiricileri için uygundur.

Spark Kafka'dan nasıl okur?

Spark'ın Kafka source connector'ı ile readStream.format('kafka') kullanılır; dönen key/value/offset/timestamp şeması from_json gibi fonksiyonlarla ayrıştırılır.

Offset'leri Spark mı yoksa Kafka mı yönetir?

Structured Streaming offset'leri kendi checkpoint'inde yönetir; startingOffsets ile başlangıç belirlenir ve hata sonrası kaldığı yerden tutarlı devam eder.

Exactly-once mümkün mü?

Checkpoint, idempotent/transactional sink ve tutarlı offset yönetimiyle uçtan uca exactly-once sağlanabilir; eğitim koşullarını ve foreachBatch desenini gösterir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

PROCESSING DATA: INTEGRATING KAFKA WITH APACHE SPARK EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Kafka Source Yapılandırması

Değer Ayrıştırma

Offset Yönetimi

Batch ve Akış Okuma

Temel Dönüşümler

Zenginleştirme

Olay Zamanlı Pencereleme

Durumlu İşlemler

Kafka Sink

Diğer Sink'ler

Teslim Garantileri

Uçtan Uca Hat

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Using Hive to Optimize Query Executions with Partitioning Eğitimi

Veri Analitiği Ve Büyük Veri Eğitimi

Viewing & Querying Complex Data with Hive Eğitimi

Working with Apache Kafka Topics, Producers, and Consumers Eğitimi

Working with Files in Hadoop HDFS Eğitimi