Spring Batch Yapılandırma ve Dönüşümler

Eğitim Hakkında

Gelişmiş Spring Batch yapılandırması ve veri dönüşümü

Eğitim, temel Spring Batch bilgisini üretim kalitesindeki işlere taşır. ItemProcessor ile dönüşüm, filtreleme, doğrulama ve zenginleştirme, CompositeItemProcessor zincirleri anlatılır. faultTolerant ile skip, retry ve BackOffPolicy, SkipListener; koşullu akış, JobExecutionDecider ve split ile paralel adımlar uygulanır. @StepScope ve JobParameters ile geç bağlama, multi-threaded step, partitioning ve remote chunking ile ölçekleme, CompositeItemWriter ve Classifier ile yönlendirme, Micrometer ile izleme yapılır.

Süre ve Format

2 Gün. Her gün dört modül; Dönüşüm ve Hata Toleransı; Ölçekleme ve Üretim ekseninde ilerleyen uygulamalı program.

Seviye

Orta Seviye — Spring Batch ileri yapılandırma: ItemProcessor dönüşümleri, skip/retry, akış kontrolü, ölçekleme, partitioning ve veri dönüşümü.

Öğrenme Metodu

Önceki hat, hatalı veri, büyük hacim ve çoklu hedef gibi gerçek zorluklarla adım adım genişletilir ve ölçülür.

Neden Bu Eğitim?

🔀Dönüşüm Zincirleri

Doğrulama, zenginleştirme ve filtrelemeyi processor zincirinde toplarsınız.

🛟Hataya Dayanıklılık

Skip ve retry ile kötü kayıt yüzünden tüm işin düşmesini önlersiniz.

📈Ölçekleme

Partitioning ile işi paralel düğümlere dağıtırsınız.

Anahtar Konular

spring batch partitioningspring batch skip retryspring batch itemprocessorspring batch ölçeklemespring batch stepscopebatch veri dönüşümüspring batch compositeitemwriterspring batch eğitimispring batch izlemeetl spring

“Güvenilir batch, hata olmaz diyen değil, hata olunca kaldığı yerden devam eden iştir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Spring Batch Temeli

Job, Step ve chunk işleme kavramlarını bilmek gerekir.

2

Spring Boot

Spring Boot ve JDBC/JPA bilgisi gerekir.

3

Araçlar

JDK 17+, Maven, IDE ve Docker önerilir.

4

SQL

Orta düzey SQL bilgisi faydalıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı kayıtları dönüştürür, hataya dayanıklı adımlar ve koşullu akış kurar.

Modül 1

ItemProcessor ve Dönüşümler

ItemProcessor ile kayıt dönüştürme ve filtreleme (null döndürme)
CompositeItemProcessor ile zincirleme dönüşüm
ValidatingItemProcessor ve Bean Validation
Dış servis/lookup ile zenginleştirme ve önbellek
Tip dönüşümü: giriş DTO'sundan hedef entity'ye
Processor'ın idempotent ve yan etkisiz olması

Modül 2

Hata Toleransı: Skip ve Retry

faultTolerant() adım yapılandırması
skipLimit ve skip(Exception) politikaları
retryLimit ve BackOffPolicy
SkipListener ile atlanan kayıtları kaydetme
Rollback davranışı ve chunk bölme (scan)
noRollback ve idempotency ilişkisi

Modül 3

Akış Kontrolü

Step sıralaması ve next()
Koşullu akış: on("COMPLETED").to(...)
JobExecutionDecider
Paralel akış: split ve SimpleAsyncTaskExecutor
Alt iş akışları (Flow) ve JobStep
ExitStatus özelleştirme

Modül 4

Gelişmiş Yapılandırma

@StepScope ve @JobScope ile geç bağlama
JobParameters'tan dosya adı/tarih enjeksiyonu
ExecutionContext ile adımlar arası veri
Yapılandırmayı profil ve properties ile yönetme
Çoklu veri kaynağı: batch meta veritabanı ayrımı
Transaction manager seçimi ve izolasyon

Günün hedefiKatılımcı işi ölçekler, çoklu hedefe yazar, izler ve ileri testlerle doğrular.

Modül 1

Ölçekleme

Multi-threaded step ve thread-safe reader
Partitioning: Partitioner ve PartitionHandler
Remote chunking ile işçi düğümleri
AsyncItemProcessor/AsyncItemWriter
Paralel ve bölümleme performans karşılaştırması
Veritabanı bağlantı havuzu boyutlandırma

Modül 2

Veri Dönüşümü Uygulamaları

JSON/XML'den ilişkisel yapıya dönüşüm
Çoklu hedefe yazma: CompositeItemWriter
ClassifierCompositeItemWriter ile yönlendirme
Delta/artımlı yükleme (watermark) deseni
Veri kalitesi raporu adımı
Dönüşüm kurallarını birim testle güvence altına alma

Modül 3

İzleme ve Hata Analizi

Micrometer ile batch metrikleri
Uyarı kuralları ve başarısız iş bildirimi
Meta tablolardan SQL ile raporlama
Log korelasyonu: jobExecutionId
Performans darboğazı analizi (okuma/işleme/yazma süresi)
Üretimde geri alma ve yeniden çalıştırma planı

Modül 4

İleri Batch Testleri

Skip/retry senaryolarının testi
Partition'lı işin test edilmesi
Testcontainers ile gerçek veritabanı
Büyük veriyle sınır testi
Mock reader ile hata enjeksiyonu
Regresyon için altın dosya (golden file) karşılaştırması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Processor Zinciri

CompositeItemProcessor ile dönüşüm ve filtreleme kurabilirsiniz.

🧩

Skip ve Retry

faultTolerant adımlarla hatalı kayıtları yönetebilirsiniz.

⚙

Akış Kontrolü

Koşullu ve paralel iş akışları tanımlayabilirsiniz.

️

Geç Bağlama

@StepScope ile parametreleri enjekte edebilirsiniz.

🔍

Ölçekleme

Multi-thread ve partitioning uygulayabilirsiniz.

🛠

Çoklu Yazma

CompositeItemWriter ile birden çok hedefe yazabilirsiniz.

️

İzleme

Micrometer ile batch metrikleri toplayabilirsiniz.

🧪

İleri Test

Skip/retry ve partition senaryolarını test edebilirsiniz.

Kimler İçin Uygundur?

Spring Batch temelini bilen ve büyük hacimli
hataya dayanıklı veri hatları kuran geliştiriciler
veri mühendisleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Spring Batch temelini bilen ve büyük hacimli, hataya dayanıklı veri hatları kuran geliştiriciler ile veri mühendisleri için uygundur.

Partitioning ile multi-thread step arasındaki fark nedir?

Multi-thread step aynı reader'ı paylaşır; partitioning veriyi bölümlere ayırır ve her bölümü bağımsız step olarak yürütür.

Skip edilen kayıtlar kaybolur mu?

SkipListener ile reddedilenler tablo veya dosyaya yazılır; eğitimde uygulanır.

Önce temel eğitimi almak gerekir mi?

Temel Spring Batch bilgisi önkoşuldur.

Eğitim sonunda sertifika verilir mi?

Katılım ve değerlendirme sonrasında Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

PROCESSING BATCH DATA: SPRING BATCH CONFIGURATIONS AND TRANSFORMATIONS EĞİTİMİ