Karmaşık Kafka akışlarını zamanla, ölçekle, orkestre et
Karmaşık Kafka iş akışlarının üretimde zamanlanması, ölçeklenmesi ve orkestrasyonuna odaklanan ileri seviye eğitim: Connect/Streams/tüketici topolojisi, partition ve consumer ölçekleme, cooperative sticky rebalance, Airflow zamanlama, Strimzi ile Kubernetes d…
Workflow orkestrasyonu, consumer/partition ölçekleme, zamanlama ve dayanıklılık
Bu ileri seviye eğitim, çok bileşenli Kafka iş akışlarının üretimde zamanlanması, ölçeklenmesi ve orkestrasyonuna odaklanır. Katılımcılar Kafka Connect, Streams ve tüketici uygulamalarından oluşan karmaşık akışları orkestre eder; partition sayısını ve consumer group'u ölçekleyerek throughput artırır; rebalance stratejilerini (cooperative sticky) ve etkisini yönetir. Airflow/Kubernetes ile Kafka iş akışlarının zamanlanması ve dağıtımı, Connect task ölçekleme, Streams uygulamalarının instance ölçeklemesi ve state store yeniden dağıtımı işlenir. Backpressure, lag tabanlı otomatik ölçekleme (KEDA), teslim garantileri ve hata yayılımı (error handling) ele alınır. Eğitim, uçtan uca dayanıklı ve ölçeklenebilir bir akış mimarisinin tasarımıyla tamamlanır.
4 Gün. Her gün dört modül; iş akışı orkestrasyonundan ölçeklemeye, zamanlamaya ve dayanıklılık tasarımına ilerlenir.
İleri Seviye — Karmaşık Kafka iş akışlarının zamanlanması, ölçeklenmesi ve orkestrasyonu; çok bileşenli akış mimarisinin üretim operasyonu.
Katılımcılar çok bileşenli Kafka akışlarını kurar, partition/consumer ölçeklemesini ve lag tabanlı otomatik ölçeklemeyi gerçek metriklerle uygulamalı test eder.
Connect, Streams ve tüketicileri uçtan uca bir akış olarak orkestre edersiniz.
Partition ve consumer ölçeklemeyle throughput'u bilinçli artırırsınız.
Lag tabanlı KEDA ile yüke göre otomatik ölçeklenen akış kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Kafka producer/consumer, Connect ve Streams deneyimi güçlü biçimde faydalıdır.
Kubernetes ve konteyner kavramlarına aşinalık faydalıdır.
Ölçekleme, rebalance ve teslim garantilerine aşinalık beklenir.
Kafka, Connect/Streams ve Kubernetes içeren bir ortam erişimi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Connect, Streams ve tüketicilerden karmaşık akış topolojisi kurarsınız.
Partition stratejisiyle paralellik ve throughput'u planlarsınız.
Consumer group ve rebalance'ı ölçekleyip dengelersiniz.
Airflow ile batch ve akış işlerini zamanlayıp orkestre edersiniz.
Strimzi/KEDA ile Kafka akışlarını Kubernetes'te dağıtırsınız.
Lag tabanlı KEDA ile yüke göre otomatik ölçekleme kurarsınız.
Dead letter queue ve exactly-once ile hata yönetimi sağlarsınız.
Lag, metrik ve tracing ile mimariyi uçtan uca izlersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Kafka ve Spark Structured Streaming ile exactly-once, watermark, stateful join, state store ve üretim operasyonunu uzman düzeyde öğrenin.
Detayları Gör →
İleri MapReduce: özel partitioner, combiner, secondary sort, map/reduce-side join, counter ve performans ayarını Java ile uygulamalı öğrenin.
Detayları Gör →
Hive/Spark SQL ve DataFrame ile büyük veriyi sorgulama, window analitiği, profilleme, optimizasyon ve dışa aktarmayı uygulamalı öğrenin.
Detayları Gör →
Apache Hadoop eğitimi: HDFS, MapReduce, YARN ve Hive/Sqoop/HBase ekosistemiyle dağıtık depolama ve işlemeyi uygulamalı öğrenin.
Detayları Gör →
Kafka yönetimi: broker yapılandırma, KRaft, SASL/SSL/ACL güvenlik, kota, reassignment, izleme ve felaket kurtarmayı uygulamalı öğrenin.
Detayları Gör →