PROCESSING DATA: INTEGRATING KAFKA WITH PYTHON & USING CONSUMER GROUPS EĞİTİMİ

Python ile Kafka akışlarını işleyin

confluent-kafka-python, üretici garantileri, tüketici grupları, offset yönetimi, yeniden dengeleme, şema kaydı ve akış işleme

Eğitim, Python ile Apache Kafka entegrasyonunu uygulamalı işler. Topic, partition ve replikasyon kavramları, confluent-kafka-python ile Producer ve Consumer, acks, idempotent producer, tüketici grupları ve rebalance, offset commit stratejileri, at-least-once…

3 gün İleri Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Kafka üretici/tüketici API'leri, tüketici grupları ve akış işleme

Eğitim, Python ile Apache Kafka entegrasyonunu uygulamalı işler. Topic, partition ve replikasyon kavramları, confluent-kafka-python ile Producer ve Consumer, acks, idempotent producer, tüketici grupları ve rebalance, offset commit stratejileri, at-least-once ve exactly-once semantikleri, Avro ve Schema Registry, hata yönetimi ve DLQ, Kafka Connect ve Faust/streaming alternatiflerine giriş ve izleme konuları ele alınır.

Süre ve Format

3 Gün. Her gün dört modül; 1. gün Kafka Temelleri ve Üretici; 2. gün Tüketiciler ve Tüketici Grupları; 3. gün Akış İşleme ve Üretim.

Seviye

İleri Seviye — Kafka üretici/tüketici API'leri, tüketici grupları ve akış işleme

Öğrenme Metodu

Katılımcılar Docker üzerinde çalışan bir Kafka kümesiyle olay üreten, tüketici grubunda işleyen ve hata durumlarını yöneten Python uygulamaları geliştirir.

Neden Bu Eğitim?

🌊Akış Veri

Olay güdümlü mimariyi Python ile kurarsınız.

👥Tüketici Grupları

Ölçeklenebilir paralel tüketimi ve rebalance davranışını anlarsınız.

🛡️Güvenilir İşleme

Teslim garantileri ve hata stratejileriyle veri kaybını önlersiniz.

Anahtar Konular

kafka pythonconfluent-kafka-pythonkafka tüketici gruplarıkafka offsetkafka rebalanceschema registryakış işlemekafka producerolay güdümlü mimarikafka eğitimi
“Akış, durmayan bir nehirdir; önemli olan onu doğru yerde ve doğru zamanda karşılamaktır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
Python

Orta düzey Python ve sınıf bilgisi gerekir.

2
Kafka temeli

Topic ve mesaj kuyruğu kavramlarına aşinalık beklenir.

3
Docker

docker-compose ile servis çalıştırabilmek gerekir.

4
JSON

JSON ve serileştirme kavramı bilinmelidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Kafka mimarisini kavrar ve Python ile güvenilir üretici yazar.
Modül 1
Kafka Mimarisi
  • Broker, topic, partition
  • Replikasyon ve ISR
  • Log segmenti ve saklama
  • KRaft modu
  • Anahtar ve bölümleme
  • Sıralama garantileri
Modül 2
Ortam Kurulumu
  • docker-compose ile Kafka
  • kafka-topics komutları
  • kcat ile test
  • confluent-kafka kurulumu
  • Konfigürasyon parametreleri
  • Güvenlik (SASL, TLS) özeti
Modül 3
Producer
  • produce ve flush
  • Teslim raporu (delivery callback)
  • acks=all ve min.insync.replicas
  • enable.idempotence
  • Batch ve linger.ms
  • Sıkıştırma
Modül 4
Serileştirme
  • JSON ve string serializer
  • Avro ve Schema Registry
  • Şema evrimi uyumluluğu
  • Anahtar seçimi
  • Büyük mesajlar
  • Tarih/saat formatı
Günün hedefiKatılımcı tüketici grupları ile paralel işleme kurar ve offset yönetimini doğru tasarlar.
Modül 1
Consumer Temelleri
  • subscribe ve poll
  • group.id
  • auto.offset.reset
  • Mesaj döngüsü ve hata kontrolü
  • Çıkış ve close
  • Kesintisiz kapanma
Modül 2
Tüketici Grupları
  • Bölüm atama stratejileri
  • Rebalance (eager, cooperative)
  • Statik üyelik
  • session.timeout ve max.poll.interval
  • Grup ölçekleme sınırları
  • Tüketici gecikmesi (lag)
Modül 3
Offset Yönetimi
  • Otomatik ve elle commit
  • commit senkron/asenkron
  • At-least-once, at-most-once
  • İşlem sonrası commit deseni
  • Offset sıfırlama
  • Tekrar oynatma (replay)
Modül 4
Hata Yönetimi
  • Zehirli mesaj
  • Dead letter queue
  • Yeniden deneme topic'leri
  • İdempotent işleme
  • Geri çekilme (backoff)
  • Hata izleme
Günün hedefiKatılımcı akış işleme desenlerini uygular ve Kafka uygulamalarını izleyerek üretime hazırlar.
Modül 1
Akış İşleme
  • Tüketici-dönüştürücü-üretici deseni
  • Pencereleme ve toplulaştırma
  • Faust ve Quix Streams tanıtımı
  • Kafka Streams ve ksqlDB karşılaştırması
  • Durum saklama
  • Gecikmeli olay
Modül 2
Exactly-Once
  • Transactional producer
  • read_committed izolasyonu
  • Tüketici-üretici atomikliği
  • Kısıtlar
  • Performans etkisi
  • Test stratejisi
Modül 3
Entegrasyon
  • Kafka Connect kavramı
  • Veritabanı CDC (Debezium)
  • Elasticsearch / S3 sink
  • Pandas ve Spark ile okuma
  • REST Proxy
  • Şema yönetişimi
Modül 4
Üretim ve İzleme
  • Temel metrikler (lag, throughput)
  • Prometheus ve Grafana
  • Yapılandırılmış günlükleme
  • Test (testcontainers)
  • Kapasite planlama
  • Güvenlik ve ACL

Eğitim Kazanımları

Program sonunda katılımcılar:

🌊
Kafka mimarisi

Topic, partition ve replikasyonu açıklayabilirsiniz.

📤
Güvenilir üretici

acks ve idempotence ile mesaj kaybını önleyebilirsiniz.

👥
Tüketici grubu

Grup üyeliği ve rebalance davranışını yönetebilirsiniz.

📍
Offset yönetimi

Commit stratejisini işleme garantisine göre seçebilirsiniz.

🧬
Şema kaydı

Avro ve Schema Registry ile uyumlu şema geliştirebilirsiniz.

☠️
Hata stratejisi

DLQ ve yeniden deneme topic'leri kurabilirsiniz.

🔁
Exactly-once

Transactional API ile tam bir kez işleme tasarlayabilirsiniz.

📈
İzleme

Lag ve throughput metriklerini izleyebilirsiniz.

Kimler İçin Uygundur?

  • Python
  • veri hattı geliştiren veri mühendisleri ve arka uç geliştiricileri içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Python ile veri hattı geliştiren veri mühendisleri ve arka uç geliştiricileri içindir.
Kafka kümesi kurmam gerekir mi?
Hayır; Docker Compose ile yerel küme sağlanır.
Hangi Python istemcisi kullanılır?
confluent-kafka-python temel alınır; kafka-python ve Faust kısaca karşılaştırılır.
Exactly-once ele alınıyor mu?
Evet; transactional producer ve read_committed son gün işlenir.
Eğitim sonunda belge verilir mi?
Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Eğitim herhangi bir üretici sınavına doğrudan hazırlık vaat etmez; sınav söz konusu ise başvuru ve ücret ilgili kuruma aittir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Processing Data: Integrating Kafka with Python & Using Consu Sertifika Kodu DV-2026XX00 Tarih 27.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre3 gün
Seviyeİleri Seviye
FormatOnline / Yüz Yüze / Hibrit
KonuPython
Sertifika✓ Var
Hemen Bilgi Al
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

PythonPython Classes & Inheritance: Working with Inheritance in Python Eğitimi
Yazılım Geliştirme Eğitimleri

Python Classes & Inheritance: Working with Inheritance in Python Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Python kalıtım eğitimi: super(), MRO ve C3, çoklu kalıtım, mixin, ABC, Protocol, Liskov ilkesi, kompozisyon ve kalıtım refactoring.

Detayları Gör →
PythonPython Concurrent Programming: Asynchronous Executions in Python Eğitimi
Yazılım Geliştirme Eğitimleri

Python Concurrent Programming: Asynchronous Executions in Python Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

Python asyncio eğitimi: async/await, event loop, Task, TaskGroup, Semaphore, Queue, aiohttp, asyncpg, zaman aşımı, iptal ve pytest-asyncio.

Detayları Gör →
PythonPython Concurrent Programming: Introduction to Concurrent Programming Eğitimi
Yazılım Geliştirme Eğitimleri

Python Concurrent Programming: Introduction to Concurrent Programming Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

Python eşzamanlı programlamaya giriş eğitimi: GIL, threading, multiprocessing, asyncio, concurrent.futures, yarış durumu ve doğru model seçimi.

Detayları Gör →
PythonPython Concurrent Programming: Multiprocessing in Python Eğitimi
Yazılım Geliştirme Eğitimleri

Python Concurrent Programming: Multiprocessing in Python Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

Python multiprocessing eğitimi: Process, Pool, ProcessPoolExecutor, shared_memory, Queue, Manager, pickle, joblib ve paralel performans analizi.

Detayları Gör →
PythonPython Concurrent Programming: Multithreading in Python Eğitimi
Yazılım Geliştirme Eğitimleri

Python Concurrent Programming: Multithreading in Python Eğitimi

4 günİleriOnline / Yüz Yüze / Hibrit

Python multithreading eğitimi: threading, Lock, Queue, ThreadPoolExecutor, GIL, race condition ve deadlock konularını canlı kodlama ile 4 günde öğrenin.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn