Üretim ölçeğinde gerçek zamanlı akış hattı kur
Spark Structured Streaming ve Kafka ile üretim ölçeğinde gerçek zamanlı akış işleme kuran ileri seviye eğitim: Kafka source/sink uçtan uca hat, olay zamanlı pencereleme ve watermark, flatMapGroupsWithState ve stream-stream join, checkpoint/WAL ile exactly-onc…
Olay zamanı, stateful işleme, exactly-once, performans ve üretim operasyonu
Bu ileri seviye eğitim, Apache Spark Structured Streaming ve Kafka ile üretim ölçeğinde gerçek zamanlı akış işleme sistemleri kurmaya odaklanır. Katılımcılar Kafka source/sink ile uçtan uca akış, olay zamanlı pencereleme ve watermark, stateful işlemler (groupByKey, flatMapGroupsWithState), stream-stream join ve tekilleştirmeyi derinlemesine uygular. Checkpoint, write-ahead log, exactly-once teslim, idempotent/transactional sink ve hata kurtarma; performans tarafında mikro-batch ve continuous processing, trigger ayarı, state store (RocksDB) ve shuffle optimizasyonu işlenir. İzleme (StreamingQueryListener, metrikler), backpressure, lag yönetimi ve dağıtım/ölçekleme ele alınır. Eğitim, üretim hazırlığı kontrol listesiyle tamamlanır.
4 Gün. Her gün dört modül; akış temellerinden stateful işlemeye, exactly-once garantisine ve üretim operasyonuna ilerlenir.
İleri Seviye — Spark Structured Streaming ve Kafka ile üretim ölçeğinde gerçek zamanlı akış işleme mimarisi ve operasyonu.
Katılımcılar Kafka ile uçtan uca akış hatları kurar, stateful işleme ve exactly-once senaryolarını uygular, hata/kurtarma ve performans ayarını gerçek metriklerle test eder.
Olay zamanlı pencereleme ve watermark ile düşük gecikmeli işleme kurarsınız.
flatMapGroupsWithState ve stream-stream join ile karmaşık durum yönetirsiniz.
Checkpoint ve transactional sink ile kayıpsız, çiftlenmesiz hat kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Spark DataFrame ve temel Structured Streaming deneyimi güçlü biçimde faydalıdır.
Topic, partition, offset ve consumer group kavramları beklenir.
Teslim garantileri ve durum kavramlarına aşinalık faydalıdır.
Spark ve Kafka içeren üretim benzeri bir ortam erişimi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Kafka ile uçtan uca Structured Streaming hattı kurarsınız.
Pencereleme ve watermark ile olay zamanlı işleme yaparsınız.
flatMapGroupsWithState ve stream-stream join uygularsınız.
Checkpoint ve transactional sink ile kayıpsız hat kurarsınız.
RocksDB state store ile büyük durumu yönetirsiniz.
Hata senaryolarında tutarlı kurtarmayı test edersiniz.
Trigger, batch ve shuffle ayarıyla gecikmeyi optimize edersiniz.
İzleme, backpressure ve ölçekleme ile üretime hazırlarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Microsoft Fabric Lakehouse'ta Spark işlerinin CU tüketimini Capacity Metrics App ile izleyin: smoothing, bursting, throttling analizi ve pool optimizasyonu.
Detayları Gör →
Microsoft Fabric'te Spark yapılandırması ve Delta Lake tablolarını öğrenin: pool/oturum ayarı, ACID, MERGE, time travel, OPTIMIZE, V-Order ve VACUUM bakımı.
Detayları Gör →
Hive sorgularını kök nedenden hızlandırın: EXPLAIN plan analizi, Tez/LLAP, map-side/SMB/skew join, ORC pushdown, bloom filter, partition pruning ve CBO.
Detayları Gör →
Veri işleme bağlamında Apache Kafka'ya başlayın: temel kavramlar, Docker kurulumu, CLI ve Python ile ilk veri akışı, consumer group ve ekosisteme bakış.
Detayları Gör →
Spark Structured Streaming ile Kafka entegrasyonunu öğrenin: Kafka source/sink, from_json ayrıştırma, offset yönetimi, pencereleme, checkpoint ve exactly-once.
Detayları Gör →