SERVERLESS DATA PROCESSING WITH DATAFLOW (SDPF) EĞİTİMİ

Dataflow ile ölçekli veri boru hatları kurun

Apache Beam modeli, pencereleme, trigger, state/timers, şablonlar, Pub/Sub ve BigQuery entegrasyonu ile Dataflow'u uçtan uca öğrenin

Apache Beam ve Google Cloud Dataflow ile toplu ve akış veri işleme, pencereleme, state/timers, şablon, test ve izleme konularını uygulamalı öğreten 3 günlük SDPF eğitimi.

3 gün İleri Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Beam ve Dataflow ile toplu/akış işleme geliştirme ve işletim programı

Eğitim, SDPF müfredatı çizgisinde Apache Beam ve Google Cloud Dataflow'u üç eksende ele alır: temeller (PCollection, PTransform, ParDo, GroupByKey, Combine), akış işleme (event time, pencereleme, watermark, trigger, geç veri), ileri geliştirme (state ve timers, side input, şema, SQL), Flex Template, Pub/Sub ve BigQuery IO, test, güvenlik, otomatik ölçekleme, izleme ve performans ayarı.

Süre ve Format

3 Gün. Her gün dört modül; 1. gün Beam Programlama Modeli ve Toplu İşleme; 2. gün Akış İşleme; 3. gün İleri Özellikler, Test ve Operasyon.

Seviye

İleri Seviye — Apache Beam ve Dataflow ile toplu ve akış veri işleme boru hatları: geliştirme, dağıtım ve işletim

Öğrenme Metodu

Her gün Beam kodu yazıp Direct Runner ve Dataflow üzerinde çalıştıran, izleyen ve hata ayıklayan laboratuvarlarla ilerleyen yoğun program.

Neden Bu Eğitim?

☁️Beam Modeli

Taşınabilir Beam programlama modelini ve Dataflow çalıştırıcısını anlarsınız.

🛠️Akış Doğruluğu

Event time ve pencereleme ile doğru sonuç veren akış hatları yazarsınız.

🎯İşletim Becerisi

Hat performansını izler ve maliyeti ayarlarsınız.

Anahtar Konular

dataflow eğitimiapache beamserverless data processingsdpfakış işlemepub/sub dataflowflex templatepencereleme watermarkgcp veri mühendisliğibeam stateful
“Doğru zamanda doğru sonuç: akış işlemenin tüm sanatı budur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
Python veya Java

En az birinde orta düzey programlama bilgisi gerekir.

2
SQL Bilgisi

BigQuery için SQL bilgisi beklenir.

3
GCP Temeli

Cloud Storage, Pub/Sub ve IAM kavramlarına aşinalık gerekir.

4
Hesap

Dataflow API'si açık bir Google Cloud projesi sağlanır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Beam ile toplu işleme boru hattı geliştirip Dataflow'da çalıştırabilir.
Modül 1
Beam Temelleri
  • Pipeline, PCollection, PTransform
  • Runner kavramı: Direct, Dataflow
  • ParDo ve DoFn yaşam döngüsü
  • Map, FlatMap, Filter
  • Pipeline seçenekleri
  • Python ve Java SDK farkı
Modül 2
Toplama ve Birleştirme
  • GroupByKey ve CoGroupByKey
  • Combine ve CombineFn
  • Join kalıpları
  • Partition ve Flatten
  • Skew ve hot key sorunu
  • Combine ile ön toplama
Modül 3
IO ve Veri Kaynakları
  • TextIO, AvroIO, ParquetIO
  • BigQueryIO okuma ve yazma
  • Cloud Storage dosya desenleri
  • JdbcIO
  • Bigtable ve Spanner IO
  • Şema kullanımı ve Row
Modül 4
Dataflow Servisi
  • Job grafiği ve optimizasyon (fusion)
  • Worker ve makine tipleri
  • Shuffle servisi
  • Dataflow şablonları (klasik ve Flex)
  • Servis hesabı ve ağ ayarı
  • Maliyet kalemleri
Günün hedefiKatılımcı akış verisini doğru pencereleme ve trigger yapılandırmasıyla işleyebilir.
Modül 1
Akış Kaynakları
  • Pub/Sub okuma ve yazma
  • Timestamp attribute ve id attribute
  • Kafka IO
  • Unbounded PCollection
  • Exactly-once semantiği
  • Pub/Sub backlog
Modül 2
Pencereleme
  • Fixed, sliding, session pencereler
  • Global window ve özel pencere
  • Event time ve işleme zamanı
  • Watermark mantığı
  • Allowed lateness
  • Geç veri yönetimi
Modül 3
Trigger ve Birikim
  • Early, on-time, late firing
  • AfterCount, AfterProcessingTime
  • Discarding ve accumulating mod
  • Composite trigger
  • Retraction giriş
  • Sonuç doğruluğu testleri
Modül 4
Akış Uygulamaları
  • Gerçek zamanlı toplama
  • Pub/Sub → Dataflow → BigQuery
  • Dead-letter kuyruğu
  • Çoklu çıkış (side output)
  • Idempotent yazma
  • Streaming insert vs Storage Write API
Günün hedefiKatılımcı ileri Beam özelliklerini kullanıp hatları test edip üretimde izleyebilir.
Modül 1
State ve Timers
  • ValueState, BagState, CombiningState
  • Event time ve processing time timers
  • Stateful DoFn
  • Sıralı işlem ve dedup
  • Garbage collection timers
  • Durum boyutu yönetimi
Modül 2
Side Input ve SQL
  • Side input ve yavaş değişen veri
  • Dataflow SQL / Beam SQL
  • Şemalı PCollection ve dönüşümleri
  • Cross-language transforms
  • ML çıkarımı (RunInference)
  • Batch ve stream birleşimi
Modül 3
Test ve CI/CD
  • TestPipeline ve PAssert
  • TestStream ile akış testi
  • Birim ve entegrasyon testi
  • Flex Template CI/CD
  • Sürümleme ve güncelleme (update/drain)
  • Terraform ile dağıtım
Modül 4
İzleme ve Performans
  • Dataflow arayüzü: grafik ve metrikler
  • Sistem gecikmesi, veri tazeliği
  • Cloud Monitoring alarmları
  • Autoscaling ve Streaming Engine
  • Hot key ve darboğaz teşhisi
  • Maliyet ve performans optimizasyonu

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Beam Geliştirme

ParDo, Combine ve GroupByKey ile boru hatları yazabilirsiniz.

🧩
Dataflow Çalıştırma

Hatları Dataflow'da çalıştırıp job grafiğini yorumlayabilirsiniz.

🚀
Akış Doğruluğu

Pencereleme, watermark ve trigger yapılandırabilirsiniz.

🔍
Geç Veri

Allowed lateness ve dead-letter ile geç veriyi yönetebilirsiniz.

🛡️
Stateful İşlem

State ve timers kullanarak karmaşık mantık kurabilirsiniz.

📊
Şablonlar

Flex Template ile hatları paketleyip dağıtabilirsiniz.

🧪
Test

TestStream ve PAssert ile hatları test edebilirsiniz.

🏗️
İşletim

Gecikme, tazelik ve maliyeti izleyip ayarlayabilirsiniz.

Kimler İçin Uygundur?

  • Veri mühendisleri
  • akış işleme geliştiricileri
  • Google Cloud üzerinde veri hattı kuran analitik ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Veri mühendisleri, akış işleme geliştiricileri ve Google Cloud üzerinde veri hattı kuran analitik ekipler için uygundur.
Python mu Java mı?
Laboratuvarlar Python ağırlıklıdır; Java karşılıkları gösterilir. Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.
Bu eğitimin diğer Dataflow eğitiminden farkı nedir?
Bu program akış işleme, state/timers ve operasyon konularında daha derindir ve üç gün sürer.
Maliyet nasıl kontrol edilir?
Küçük worker sayısı, kısa job süresi ve temizleme betikleri kullanılır.
Spark bilgisi gerekir mi?
Gerekmez; benzer kavramlar için karşılaştırma yapılır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Serverless Data Processing with Dataflow (SDPF) Eğitimi Sertifika Kodu DV-2026XX00 Tarih 27.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre3 gün
Seviyeİleri Seviye
FormatOnline / Yüz Yüze / Hibrit
Sertifika✓ Var
Hemen Bilgi Al
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Bulut Yerel ve Sunucusuz MimarilerGoogle Professional Cloud Architect: Serverless Compute Options Eğitimi
Bulut Bilişim Eğitimleri

Google Professional Cloud Architect: Serverless Compute Options Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Google Cloud PCA sunucusuz hesaplama eğitimi: Cloud Functions, Cloud Run, App Engine, GKE Autopilot karşılaştırması. Sınav ücreti ilgili kuruma aittir.

Detayları Gör →
Bulut Yerel ve Sunucusuz MimarilerMigrating to Serverless: Adopting Serverless Computing Eğitimi
Bulut Bilişim Eğitimleri

Migrating to Serverless: Adopting Serverless Computing Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Sunucusuz geçiş benimseme eğitimi: uygunluk analizi, strangler fig, maliyet modeli, lock-in yönetimi, güvenlik ve organizasyonel yol haritası.

Detayları Gör →
Bulut Yerel ve Sunucusuz MimarilerMigrating to Serverless: Implementing Serverless Solutions Eğitimi
Bulut Bilişim Eğitimleri

Migrating to Serverless: Implementing Serverless Solutions Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Sunucusuz uygulama geliştirme eğitimi: AWS Lambda, API Gateway, DynamoDB, SQS/SNS, Step Functions, SAM, CI/CD ve X-Ray izleme.

Detayları Gör →
Bulut Yerel ve Sunucusuz MimarilerQuarkus ile Bulut Yerel Java Mikroservisleri Geliştirme Eğitimi
Bulut Bilişim Eğitimleri

Quarkus ile Bulut Yerel Java Mikroservisleri Geliştirme Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

Quarkus ile Java mikroservis geliştirme eğitimi: REST, Panache, Fault Tolerance, Kafka, Keycloak, GraalVM native imaj ve Kubernetes dağıtımı.

Detayları Gör →
Bulut Yerel ve Sunucusuz MimarilerServerless App Development: Implementation with Google App Engine Eğitimi
Bulut Bilişim Eğitimleri

Serverless App Development: Implementation with Google App Engine Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Google App Engine eğitimi: standard/flexible ortam, app.yaml, trafik bölme, Firestore, Cloud Tasks, IAP ve Cloud Build ile sunucusuz uygulama geliştirme.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn