Veriyi akarken gerçek zamanlı işleyin
Gerçek zamanlı akış işleme: Kafka topic/partition ve teslim semantiği, Flink/Spark Structured Streaming, keyed state, olay zamanı ve watermark, pencereleme ve akış join, exactly-once ve checkpoint ile güvenilir üretim uygulamalı işlenir.
Kafka, Flink ve Spark ile gerçek zamanlı akış işleme
Bu eğitim, verinin toplu (batch) değil akarken işlendiği gerçek zamanlı akış işleme (stream processing) mimarilerini uygulamalı öğretir. Olay akışı kavramı, mesaj kuyruğu ve log tabanlı yayın/abonelik ele alınır. Apache Kafka ile topic, partition, producer/consumer, consumer group, offset ve teslim semantiği işlenir. Akış işleme motorlarında (Apache Flink ve Spark Structured Streaming) sürekli sorgu, durum (state) yönetimi, olay zamanı (event time) ve işlem zamanı farkı, pencereleme (tumbling/sliding/session window), watermark ve geç gelen veri uygulanır. Exactly-once vs at-least-once garantileri, checkpoint, backpressure ve ölçeklenme gösterilir. Akış-tablo ikiliği, stream-stream/stream-table join ve gerçek zamanlı toplulaştırma ile dolandırıcılık/izleme gibi senaryolar kurgulanır.
4 Gün. Her gün dört modül; her konu Kafka ve bir akış motoru üzerinde lab ile uygulanır.
İleri Seviye — Akış işleme: Kafka, Flink/Spark Structured Streaming, pencereleme ve exactly-once.
Kafka ve Flink/Spark lab ortamında producer/consumer ve pencereli akış işleme uygulamaları.
Veriyi saniyeler içinde işleyip anında karar üretirsiniz.
Olay zamanı ve watermark ile doğru zamanlı toplulaştırma kurarsınız.
Exactly-once ve checkpoint ile veri kaybı/çoğaltmayı önlersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Java/Scala veya Python ile temel kodlama avantaj sağlar.
Kuyruk, küme ve ölçeklenme kavramına aşinalık faydalıdır.
Toplulaştırma ve join mantığını bilmek yardımcı olur.
Kafka ve Flink/Spark çalıştırılabilen (Docker) lab ortamı.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Batch ve stream farkını kavrar, akış mimarisi tasarlarsınız.
Topic/partition ve consumer group ile akış kurarsınız.
Exactly-once ve idempotent üretimi uygularsınız.
Keyed state ve state backend ile durumu yönetirsiniz.
Event time ve watermark ile geç veriyi yönetirsiniz.
Tumbling/sliding/session pencerelerle toplulaştırırsınız.
Stream-stream ve stream-table join kurarsınız.
Checkpoint ve backpressure yönetimiyle üretime alırsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Kenar bilişim mimarisini tasarlayın: kenar katmanları, mikro veri merkezi topolojisi, MQTT veri toplama, kenar akış işleme ve bulut senkronizasyonu. İleri DVA e
Detayları Gör →
Kenar bilişim ve mikro veri merkezlerini kurun ve işletin: provisioning, K3s/KubeEdge iş yükleri, izleme, OTA güncelleme ve filo yönetimi. Orta seviye DVA eğiti
Detayları Gör →
Analizin dayandığı anahtar istatistik kavramlarını öğrenin: dağılım, normal dağılım, olasılık, güven aralığı, p-değeri ve yaygın tuzaklar. Temel DVA eğitimi.
Detayları Gör →
Kibana'yı öğrenin: Discover, KQL, Lens görselleştirme, dashboard, Maps, zamanlanmış raporlama ve alerting. Elasticsearch verisi için orta seviye DVA eğitimi.
Detayları Gör →
KNIME Analytics Platform'u uçtan uca öğrenin: node workflow, veri dönüştürme, görselleştirme, flow variable ve makine öğrenmesi. Orta seviye DVA eğitimi.
Detayları Gör →