Connecting Kafka to Databases, APIs, and Cloud

Eğitim Hakkında

Kafka Connect ile veri tabanı, API ve bulut depolama entegrasyonu

Eğitim, Kafka Connect ile kodsuz veri entegrasyonunu işler: standalone ve distributed mod, worker, connector, task, REST API ile yönetim, JDBC source/sink, Debezium ile CDC (PostgreSQL, MySQL), HTTP source/sink connector, S3 ve GCS sink, Avro/JSON converter ve Schema Registry, Single Message Transform (SMT), hata toleransı, dead letter queue, offset yönetimi, exactly-once desteği ve izleme.

Süre ve Format

2 Gün. Her gün dört modül; connector yapılandırması, CDC akışı ve sink laboratuvarlarıyla işlenir.

Seviye

Orta Seviye — Kafka Connect ile entegrasyon: source ve sink connector, JDBC, Debezium CDC, REST, S3 sink, dönüşümler ve hata yönetimi.

Öğrenme Metodu

Katılımcılar Docker Compose ile Kafka, Connect ve Schema Registry ayağa kaldırır; PostgreSQL değişikliklerini Debezium ile yakalar, S3 uyumlu depolamaya yazar ve hata senaryolarını dener.

Neden Bu Eğitim?

🔁Kodsuz entegrasyon

Entegrasyon kodu yazmadan JSON yapılandırmayla veri akışı kurarsınız.

📡CDC yaklaşımı

Veritabanı değişikliklerini Debezium ile gerçek zamanlı yakalarsınız.

🛡️Hata yönetimi

DLQ ve retry ile bozuk kayıtlara dayanıklı akışlar yaparsınız.

Anahtar Konular

Kafka ConnectDebezium CDCKafka JDBC connectorKafka S3 sinkSchema RegistrySMT dönüşümleriKafka entegrasyonveri akışı mühendisliğiKafka DLQApache Kafka eğitimi

“Veriyi taşımak için kod yazmak zorunda değilsiniz, doğru connector'ü yapılandırmak yeterlidir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Kafka temelleri

Topic, partition, producer ve consumer kavramları bilinmelidir.

2

SQL

Temel SQL ve veritabanı bilgisi gerekir.

3

Docker

Docker Compose kullanımı faydalıdır.

4

JSON

Connector yapılandırması için JSON okuyabilmek gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Kafka Connect kümesini ayağa kaldırır ve veritabanlarıyla source/sink connector yapılandırır.

Modül 1

Connect Mimarisi

Worker, connector, task kavramları
Standalone ve distributed mod
Connect REST API
Offset, config, status topic'leri
Connector eklentileri (plugin.path)
Task paralelliği ve tasks.max

Modül 2

Converter ve Şema

JSON, Avro, Protobuf converter
Schema Registry entegrasyonu
Şema evrimi ve uyumluluk
key/value converter ayrımı
Şema içeren ve şemasız JSON
Tür eşleme sorunları

Modül 3

JDBC Connector

JDBC source: bulk, incrementing, timestamp modları
JDBC sink ve insert/upsert
Otomatik tablo oluşturma
Birincil anahtar eşleme
Çoklu tablo yapılandırma
Performans ayarı (batch.size)

Modül 4

Debezium CDC

Log tabanlı CDC (WAL / binlog)
PostgreSQL ve MySQL connector
Snapshot modları
Change event yapısı (before/after/op)
Tombstone ve silme olayları
Replication slot yönetimi

Günün hedefiKatılımcı API ve bulut depolama ile entegrasyon kurar, SMT ve hata yönetimini uygular, Connect'i işletir.

Modül 1

HTTP ve API Entegrasyonu

HTTP sink connector
HTTP source (polling) connector
Kimlik doğrulama ve başlık yapılandırma
Batch ve retry politikası
Rate limit yönetimi
Webhook alternatifleri

Modül 2

Bulut Depolama Sink

S3 sink connector
GCS ve Azure Blob sink
Format: Parquet, Avro, JSON
Zaman ve alan bazlı bölümleme
Flush boyutu ve rotate aralığı
Exactly-once ve idempotent yazım

Modül 3

Dönüşümler (SMT)

InsertField, ReplaceField, MaskField
TimestampConverter ve RegexRouter
ExtractNewRecordState (Debezium)
Zincirleme dönüşüm
Predicate ile koşullu SMT
Dönüşüm sınırları ve ksqlDB/Streams ile ayrım

Modül 4

Hata Yönetimi ve İşletim

errors.tolerance ve DLQ topic
Retry ve backoff ayarı
Rebalance ve task failure
JMX / Prometheus izleme
Connector güvenliği (SSL, SASL, sır sağlayıcı)
Connector güncelleme ve offset sıfırlama

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Connect kurulumu

Distributed modda Kafka Connect kümesi çalıştırabilirsiniz.

✅

Converter seçimi

Avro/JSON converter ve Schema Registry yapılandırabilirsiniz.

✅

JDBC akışı

JDBC source ve sink connector kurabilirsiniz.

✅

CDC kurulumu

Debezium ile veritabanı değişikliklerini yakalayabilirsiniz.

✅

API entegrasyonu

HTTP connector ile REST sistemlerine veri aktarabilirsiniz.

✅

Bulut sink

S3/GCS sink ile bölümlenmiş dosyalar yazabilirsiniz.

✅

SMT kullanımı

Veri maskeleme ve yönlendirme dönüşümlerini uygulayabilirsiniz.

✅

Hata yönetimi

DLQ ve izleme ile dayanıklı connector işletebilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
Kafka yöneticileri
entegrasyon geliştiricileri
olay güdümlü veri platformu kuran ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, Kafka yöneticileri, entegrasyon geliştiricileri ve olay güdümlü veri platformu kuran ekipler için uygundur.

Kafka bilgisi gerekli mi?

Evet, topic, partition ve consumer group gibi temel Kafka kavramlarının bilinmesi beklenir.

Confluent Platform zorunlu mu?

Hayır, açık kaynak Kafka Connect ve Debezium ile çalışılır; Confluent connector'leri de gösterilir.

CDC için hangi veritabanı?

PostgreSQL ve MySQL üzerinde uygulama yapılır.

Eğitim sonunda hangi belge verilir?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

CONNECTING KAFKA TO DATABASES, APIS, AND CLOUD STORAGE WITH KAFKA CONNECT EĞİTİMİ