Kafka ve Spark ile gerçek zamanlı akış işleyin
Apache Kafka'yı Spark Structured Streaming ile entegre eden; Kafka kaynağı, event-time pencereleme, watermark, stateful agregasyon, akış join ve checkpoint ile hata toleransı kapsayan ileri eğitim.
Kafka-Spark akış entegrasyonu ve exactly-once odaklı eğitim
Bu eğitim, Apache Kafka'yı Spark Structured Streaming ile entegre ederek gerçek zamanlı veri işleme hatları kurmayı ele alır. Kafka'yı streaming kaynağı ve hedefi olarak kullanma, offset yönetimi, olay zamanı (event-time) pencereleme, watermark ile geç gelen veri yönetimi, durum bilgili agregasyon, stream-stream ve stream-static join, checkpoint ile hata toleransı, tetikleme (trigger) modları ve exactly-once/at-least-once garantileri gibi somut konuları kapsar. Katılımcı dayanıklı, ölçeklenebilir bir gerçek zamanlı işleme hattı geliştirir.
3 Gün. Her gün dört modül; her modül anlatım ve Kafka+Spark üzerinde akış labı içerir.
İleri Seviye — Apache Kafka ile Spark Structured Streaming'i entegre ederek gerçek zamanlı akış işleme.
Kafka ve Spark kurulu bir ortamda gerçek zamanlı akış hatları kurup checkpoint ve pencereleme davranışını gözlemleyerek öğrenme.
Verileri oluştuğu anda işleyerek gecikmeyi saniyeler seviyesine indirirsiniz.
Checkpoint ve offset yönetimiyle hata sonrası kayıpsız kurtarma sağlarsınız.
Watermark ile geç gelen veriyi doğru biçimde pencereye yerleştirirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Spark DataFrame ve Spark SQL ile çalışma deneyimi gerekir.
Topic, partition ve consumer group kavramlarına aşinalık faydalıdır.
PySpark örnekleri için temel Python bilgisi avantaj sağlar.
Kafka ve Spark kurulu bir ortam önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Structured Streaming modelini ve output modlarını açıklayabilirsiniz.
Kafka'dan akış okuyup veriyi çözümleyebilirsiniz.
Event-time pencereleme ile zaman bazlı agregasyon yapabilirsiniz.
Watermark ile geç gelen veriyi yönetebilirsiniz.
Stateful agregasyon ve tekilleştirme uygulayabilirsiniz.
Stream-stream ve stream-static join kurabilirsiniz.
Checkpoint ile kayıpsız kurtarma sağlayabilirsiniz.
Akış hattını izleyip boyutlandırarak işletebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Azure HDInsight ve Hive ile perakende satış analizi: cluster kurulumu, Blob/ADLS, external tablolar, partitioning, ORC ve Power BI. Uygulamalı orta seviye eğiti
Detayları Gör →
Hive performansı: map/bucket/SMB join, partition pruning, bucketing, veri çarpıklığı, EXPLAIN plan okuma ve sorun giderme. Uygulamalı ileri seviye eğitim.
Detayları Gör →
Kamu kurumları için büyük veri ve iş zekası: açık veri, gösterge panoları, hizmet metrikleri, usulsüzlük analitiği, KVKK ve veri yönetişimi. Orta seviye eğitim.
Detayları Gör →
Apache Flink'e giriş: DataStream API, event-time, watermark, keyed state, pencereleme, checkpoint ve Kafka entegrasyonu. Uygulamalı temel seviye eğitim.
Detayları Gör →
Apache Spark'a giriş: driver/executor mimarisi, RDD, transformation/action, DataFrame, Spark SQL, Parquet ve önbellekleme. Uygulamalı temel seviye eğitim.
Detayları Gör →