Apache Storm ile Gerçek Zamanlı İşleme

Eğitim Hakkında

Düşük gecikmeli akış işlemeyi Storm ile kurmak

Bu eğitim, Apache Storm ile gerçek zamanlı, düşük gecikmeli veri işlemeyi öğretir. Topology, spout ve bolt yapısı; stream grouping türleri (shuffle, fields, all, global); tuple akışı ve acking ile güvenilirlik; Nimbus, Supervisor ve worker mimarisi işlenir. Kafka spout ile veri alımı, Trident ile exactly-once ve durum yönetimi, pencereleme (windowing), paralellik ayarı (parallelism hint, task, executor) ve topology dağıtımı uygulamalı gösterilir. Geri basınç, hata toleransı ve izleme ele alınır.

Süre ve Format

3 Gün. Her gün dört modül; topology geliştirme ve küme üzerinde çalıştırma ağırlıklı labler.

Seviye

İleri Seviye — Apache Storm ile topology, spout/bolt, stream grouping, güvenilirlik ve Trident'i kapsar.

Öğrenme Metodu

Kafka'dan veri alan Storm topology'leri yazıp kümeye dağıtarak canlı uygulanır.

Neden Bu Eğitim?

⚡Düşük Gecikme

Tuple tuple işleme ile milisaniye düzeyinde gerçek zamanlı yanıt üretirsiniz.

🔗Güvenilirlik

Acking mekanizmasıyla her tuple'ın işlendiğini garanti edersiniz.

🎯Exactly-once

Trident ile durumlu, exactly-once işleme kurarsınız.

Anahtar Konular

apache storm eğitimigerçek zamanlı işlemestorm topologyspout boltstream groupingtridentkafka stormdüşük gecikmeakış işleme

“Gerçek zamanlı değer, verinin tazeliğinde gizlidir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Java

Java'da nesne tabanlı kod yazabilmek gerekir.

2

Akış Kavramı

Gerçek zamanlı ve batch işleme farkına aşinalık faydalıdır.

3

Kafka Temeli

Topic ve partition kavramlarını bilmek faydalıdır.

4

Lab Ortamı

Storm ve ZooKeeper çalıştırabilen bir ortam gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Storm mimarisini kavrar ve basit bir spout/bolt topology'si yazabilir.

Modül 1

Mimari

Nimbus, Supervisor ve worker rolleri
ZooKeeper'ın koordinasyon görevi
Worker, executor ve task ilişkisi
Topology yaşam döngüsü
Storm vs mikro-batch (Spark Streaming)
Düşük gecikme tasarım hedefi

Modül 2

Spout

Spout'un veri kaynağı rolü
nextTuple ve emit mekanizması
KafkaSpout ile veri alımı
Reliable vs unreliable spout
ack/fail geri bildirimi
Spout paralelliği

Modül 3

Bolt

Bolt ile işleme ve yönlendirme
execute ve emit kullanımı
BasicBolt vs RichBolt
Filtreleme, dönüştürme, birleştirme
Tuple anchoring kavramı
Bolt zincirleme tasarımı

Modül 4

Topology Kurma

TopologyBuilder ile tanım
setSpout ve setBolt bağlama
LocalCluster ile yerel test
StormSubmitter ile dağıtım
Config ve topology ayarları
Topology izleme (UI)

Günün hedefiKatılımcı stream grouping ve acking ile güvenilir, ölçekli topology tasarlayabilir.

Modül 1

Stream Grouping

Shuffle grouping dağıtımı
Fields grouping ile anahtar bazlı yönlendirme
All ve global grouping
Direct ve custom grouping
Grouping seçiminin paralelliğe etkisi
Veri yerelliği ve sıralama

Modül 2

Güvenilirlik

Tuple tree ve anchoring
ack ve fail akışı
Acker görevinin rolü
At-least-once garanti mekanizması
Mesaj timeout ve yeniden yayma
Spout replay tasarımı

Modül 3

Paralellik

Parallelism hint ayarı
Executor ve task ayrımı
rebalance ile dinamik ölçekleme
Worker sayısı ve kaynak
Darboğaz tespiti
Capacity metriği yorumu

Modül 4

Pencereleme

Tumbling ve sliding window
Zaman ve sayı tabanlı pencere
Window bolt kullanımı
Geç gelen tuple yönetimi
Toplulaştırma pencere içinde
Watermark benzeri yaklaşımlar

Günün hedefiKatılımcı Trident ile durumlu işleme kurar ve topology'yi üretime hazırlar.

Modül 1

Trident

Trident topology soyutlaması
Batch ve transaction kavramı
Exactly-once semantiği
State ve StateUpdater
groupBy, aggregate, persistentAggregate
Trident ile DRPC

Modül 2

Entegrasyon

KafkaSpout yapılandırması
Hedefe yazma (HDFS, HBase, Redis)
Harici servis çağrısı deseni
Zenginleştirme için lookup
Çıktı güvenilirliği
Şema ve serileştirme

Modül 3

Hata Toleransı

Worker/supervisor arıza kurtarma
Nimbus HA
Geri basınç (backpressure) ayarı
max.spout.pending ile akış kontrolü
Zehirli tuple yönetimi
Yeniden deneme stratejisi

Modül 4

Üretim Operasyonu

Topology metrikleri ve UI
Log toplama ve hata analizi
Kaynak planlama
Dağıtım ve sürüm yönetimi
İzleme ve alarmlama
Kapasite ve gecikme hedefleri

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Topology Kurma

Spout ve bolt'larla gerçek zamanlı topology'ler tasarlarsınız.

✅

Stream Grouping

Fields ve shuffle grouping ile veri dağıtımını doğru kurarsınız.

✅

Güvenilirlik

Acking ile her tuple'ın işlenmesini garanti edersiniz.

✅

Paralellik

Executor/task ayarıyla topology'yi ölçeklendirirsiniz.

✅

Pencereleme

Tumbling/sliding pencerelerle zaman tabanlı toplulaştırma yaparsınız.

✅

Trident

Trident ile durumlu, exactly-once işleme kurarsınız.

✅

Entegrasyon

Kafka'dan alıp HDFS/HBase/Redis'e güvenle yazarsınız.

✅

Üretim

Hata toleransı, geri basınç ve izleme ile topology'yi üretime alırsınız.

Kimler İçin Uygundur?

Gerçek zamanlı veri işleme kuran mühendisler
akış sistemleri geliştiricileri
düşük gecikme gerektiren uygulama ekipleri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Gerçek zamanlı veri işleme kuran mühendisler ve düşük gecikme gerektiren uygulama ekipleri için uygundur.

Storm mı Spark Streaming mi?

Storm'un tuple tuple düşük gecikme modeli ile mikro-batch yaklaşımı eğitimde karşılaştırılır.

Java zorunlu mu?

Evet; topology'ler ağırlıkla Java ile yazılır, bu nedenle Java yetkinliği beklenir.

Exactly-once mümkün mü?

Evet; Trident'in batch/transaction ve state mekanizmasıyla exactly-once işleme uygulanır.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

REAL-TIME BIG DATA PROCESSING WITH APACHE STORM EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Mimari

Spout

Bolt

Topology Kurma

Stream Grouping

Güvenilirlik

Paralellik

Pencereleme

Trident

Entegrasyon

Hata Toleransı

Üretim Operasyonu

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Techniques for Big Data Analytics Eğitimi

The Complete Apache Kafka Practical Guide Eğitimi

Using Hive & Pig with Hadoop Eğitimi

Using Hive to Optimize Query Executions with Partitioning Eğitimi

Veri Analitiği Ve Büyük Veri Eğitimi