Kafka, Cassandra & Confluent Eğitimi

Eğitim Hakkında

Kafka olay akışını Cassandra'ya aktarıp Confluent ile işlemeyi öğreten uygulamalı eğitim

Processing Data: Using Kafka with Cassandra & Confluent Eğitimi, gerçek zamanlı veri akışlarını Apache Kafka ile toplayıp Cassandra'ya kalıcı yazmayı ve Confluent ile işlemeyi öğretir. Katılımcılar Kafka topic, partition, producer ve consumer kavramlarını, Kafka Connect ile Cassandra sink entegrasyonunu ve Schema Registry ile veri sözleşmelerini kavrar. ksqlDB ve Kafka Streams ile stream processing, exactly-once semantics ve dağıtık boru hattı tasarımı uygulamalı ele alınır.

Süre ve Format

3 Gün. İlk gün Kafka temelleri ve olay akışı, ikinci gün Kafka Connect, Cassandra sink ve Schema Registry, üçüncü gün Confluent stream processing işlenir.

Seviye

Orta Seviye — Kafka ile olay akışı, Cassandra'ya veri yazma ve Confluent platformu ile stream processing

Öğrenme Metodu

Her konu gerçek bir Kafka/Confluent ve Cassandra ortamında producer, consumer, connector ve stream senaryolarıyla uygulamalı işlenir.

Neden Bu Eğitim?

🌊Olay akışı mimarisi

Kafka'nın topic, partition ve consumer group yapısıyla ölçeklenebilir olay akışı mimarisini kavrarsınız.

🔗Cassandra entegrasyonu

Kafka Connect sink ile akan veriyi Cassandra'ya kalıcı, dağıtık ve yüksek hacimli biçimde yazmayı öğrenirsiniz.

⚙️Confluent işleme

ksqlDB ve Kafka Streams ile veriyi akış halindeyken dönüştürüp zenginleştirmeyi uygulamalı deneyimlersiniz.

Anahtar Konular

kafka eğitimiapache kafka kursuconfluent eğitimikafka cassandra entegrasyonukafka connect eğitimistream processing eğitimiksqldb eğitimigerçek zamanlı veri işlemekafka streams eğitimiveri boru hattı eğitimi

“Gerçek zamanlı veride değer, olayları yakalamak kadar onları akış halindeyken işleyip kalıcı hale getirebilmekte gizlidir.”

Ön Koşullar

Eğitimden en iyi verimi almak için faydalı olacak temel bilgi ve ortam gereksinimleri

1

Programlama bilgisi

Java veya Python gibi bir dilde temel geliştirme bilgisi producer ve consumer örneklerini takip etmeyi sağlar.

2

Cassandra temeli

Cassandra veri modeli ve CQL'e aşinalık sink entegrasyonundaki tablo tasarımını anlamayı kolaylaştırır.

3

Dağıtık sistem kavramı

Dağıtık sistem ve mesajlaşma temel kavramlarına aşinalık Kafka mimarisini kavramayı destekler.

4

Çalışma ortamı

Docker veya Confluent Platform kurulu bir ortam producer, consumer ve connector denemeyi mümkün kılar.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcılar Kafka'nın topic, partition, offset, producer ve consumer kavramlarını, consumer group ile ölçeklenmeyi ve broker, replication ile dayanıklılığı kavrayarak olay akışı mimarisini öğrenir.

Modül 1

Kafka Mimarisi ve Broker Yapısı

Broker, cluster ve controller kavramları
Topic'lerin log tabanlı append-only yapısı
Partition ile topic'in paralelleştirilmesi
Replication factor ve lider/takipçi replika
ISR (in-sync replica) ve dayanıklılık garantisi
ZooKeeper ve KRaft ile metadata yönetimi

Modül 2

Topic, Partition ve Offset

Topic oluşturma ve partition sayısı belirleme
Mesajların partition içinde offset ile sıralanması
Partition anahtarı ile mesaj dağıtımı
Retention policy ile mesaj saklama süresi
Log compaction ile anahtar başına son değer
Partition sayısının throughput'a etkisi

Modül 3

Producer ile Veri Üretme

Producer API ile topic'e mesaj gönderme
Key ve value serialization ayarları
acks ayarı ile yazma dayanıklılığı dengesi
Batching ve linger.ms ile throughput artırma
Idempotent producer ile tekrar eden yazmayı önleme
Partitioner ile mesajların dağıtılması

Modül 4

Consumer ve Consumer Group

Consumer API ile topic'ten mesaj okuma
Consumer group ile partition'ların paylaşılması
Offset commit ve yeniden işleme davranışı
Rebalance ve partition yeniden atama süreci
At-least-once ve at-most-once teslim modları
Lag izleme ile tüketim gecikmesinin takibi

Günün hedefiKatılımcılar Kafka Connect ile Cassandra sink connector'ı yapılandırarak akan veriyi Cassandra'ya yazar, Schema Registry ve Avro ile veri sözleşmelerini kurar ve boru hattı dayanıklılığını öğrenir.

Modül 1

Kafka Connect Çerçevesi

Source ve sink connector kavramları
Connect worker ve distributed mod yapısı
Connector, task ve converter bileşenleri
Connector yapılandırmasının REST API ile yönetimi
Single Message Transform (SMT) ile dönüştürme
Dead letter queue ile hatalı kayıt yönetimi

Modül 2

Cassandra Sink Entegrasyonu

Cassandra sink connector'ın yapılandırılması
Kafka topic'ten Cassandra tablosuna eşleme
Topic alanlarının CQL sütunlarına bağlanması
Partition ve clustering key ile yazma tasarımı
Batch boyutu ve consistency level ayarı
Yüksek hacimli yazmada performans optimizasyonu

Modül 3

Schema Registry ve Avro

Schema Registry ile şemaların merkezi yönetimi
Avro ile kompakt ve şemalı mesaj serileştirme
Schema ID ile mesaja şema referansı ekleme
Backward ve forward uyumluluk kuralları
Şema evrimi ve alan ekleme/çıkarma senaryoları
Protobuf ve JSON Schema desteğine genel bakış

Modül 4

Boru Hattı Dayanıklılığı

Connector offset yönetimi ve yeniden başlatma
Hata durumunda retry ve geri yükleme stratejisi
Veri kaybını önleyen teslim garantileri
Idempotent yazma ile tekrarların etkisizleştirilmesi
İzleme ile connector sağlığının takibi
Ölçeklenme için task sayısının ayarlanması

Günün hedefiKatılımcılar Confluent platformunda ksqlDB ve Kafka Streams ile akış halindeki veriyi dönüştürür, pencereleme ve birleştirme yapar, exactly-once semantics uygular ve uçtan uca boru hattını tasarlar.

Modül 1

Confluent Platform'a Genel Bakış

Confluent Platform ve Confluent Cloud bileşenleri
Control Center ile küme ve boru hattı izleme
REST Proxy ile HTTP üzerinden Kafka erişimi
Connector ekosistemi ve hazır entegrasyonlar
Kafka ile Confluent'ın sunduğu ek yetenekler
Lisanslama ve topluluk/kurumsal bileşen farkı

Modül 2

ksqlDB ile Akış Sorgulama

Stream ve table soyutlamalarının farkı
CREATE STREAM ve CREATE TABLE ile tanımlama
SQL benzeri sorgularla sürekli dönüştürme
Filter, projection ve türetilmiş akış oluşturma
Pull ve push query arasındaki fark
Sonuçların yeni topic'lere yazılması

Modül 3

Kafka Streams ile İşleme

Kafka Streams DSL ile topoloji oluşturma
map, filter ve flatMap ile kayıt dönüştürme
Pencereleme (windowing) ile zaman tabanlı toplama
Stream-stream ve stream-table join işlemleri
State store ile durum tutma ve sorgulama
Zamanlama ve geç gelen veri (late event) yönetimi

Modül 4

Exactly-Once ve Boru Hattı Tasarımı

Transactional producer ile atomik yazma
Exactly-once semantics (EOS) garantisinin kurulması
Uçtan uca boru hattında teslim garantisi tasarımı
Kafka'dan Cassandra'ya veri akışının bütünlüğü
İzleme, lag ve throughput ile üretim takibi
Ölçeklenebilir ve dayanıklı mimari kararları

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Kafka mimarisi

Topic, partition, offset, producer ve consumer kavramlarıyla olay akışı mimarisini net biçimde kavrarsınız.

✅

Teslim garantileri

At-least-once, at-most-once ve exactly-once teslim modellerini anlar ve senaryoya göre seçersiniz.

✅

Kafka Connect

Source ve sink connector'ları yapılandırarak dağıtık bir veri boru hattını kurmayı öğrenirsiniz.

✅

Cassandra yazma

Kafka Connect sink ile akan veriyi Cassandra tablolarına doğru key tasarımıyla kalıcı yazarsınız.

✅

Schema Registry

Avro ve Schema Registry ile veri sözleşmelerini kurar ve şema evrimini güvenle yönetirsiniz.

✅

ksqlDB ile akış

ksqlDB ile stream ve table tanımlayarak akış halindeki veriyi SQL benzeri sorgularla dönüştürürsünüz.

✅

Kafka Streams

Kafka Streams ile pencereleme, join ve state store kullanarak gelişmiş akış işleme uygularsınız.

✅

Boru hattı tasarımı

Kafka'dan Cassandra'ya uçtan uca dayanıklı ve ölçeklenebilir bir veri boru hattı tasarlarsınız.

Kimler İçin Uygundur?

Gerçek zamanlı veri boru hatları kuran veri mühendisleri
backend geliştiriciler
platform mühendisleri
çözüm mimarları ile Kafka ve Cassandra'yı birlikte kullanacak akış işleme ekipleri ve BT uzmanları için uygundur

Sıkça Sorulan Sorular

Bu Kafka, Cassandra ve Confluent eğitimi kimler için uygundur?

Gerçek zamanlı veri boru hatları kuran veri mühendisleri, backend ve platform geliştiriciler ile çözüm mimarları için uygundur. Kafka ve Cassandra'yı birlikte kullanacak akış işleme ekipleri ve yüksek hacimli olay verisiyle çalışan BT uzmanları da faydalanır.

Eğitim için hangi ön bilgi gerekir?

Java veya Python gibi bir dilde temel geliştirme bilgisi, Cassandra veri modeli ve CQL'e aşinalık ile dağıtık sistem ve mesajlaşma kavramlarına temel düzeyde aşinalık beklenir. Docker veya Confluent Platform kurulu bir ortam örnekleri denemek için faydalıdır.

Kafka verisi Cassandra'ya nasıl yazılıyor?

Veri, Kafka Connect çerçevesindeki Cassandra sink connector ile yazılır. Topic alanları CQL sütunlarına eşlenir, partition ve clustering key tasarımı yapılır, batch boyutu ve consistency level ayarlanır. Eğitimde bu entegrasyon yüksek hacimli yazma senaryosuyla uygulamalı kurulur.

ksqlDB ile Kafka Streams arasındaki fark nedir?

ksqlDB akış işlemeyi SQL benzeri sorgularla sunar ve hızlı prototiplemeye uygundur; Kafka Streams ise Java tabanlı bir kütüphane olarak programatik kontrol ve state store gibi gelişmiş yetenekler sağlar. Eğitim her ikisini de pencereleme ve join örnekleriyle işler.

Eğitim sonunda sertifika veriliyor mu?

Program tamamlayan katılımcılar Digital Vizyon Akademi Katılım ve Başarı Sertifikası alır. Confluent'ın resmi sınavlarına girmek isteyenler için sınav başvurusu ve ücreti ilgili kuruma aittir. İçerik kuruma özel uyarlanabilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika