DATAFLOW AUTOSCALING PIPELINES EĞİTİMİ

Veri hatlarını otomatik ölçeklenir biçimde kur

Apache Beam modeli, Dataflow runner, windowing, watermark ve yatay otomatik ölçekleme ile üretim veri hatları tasarlayın.

Apache Beam modeli ve Dataflow runner ile akış/toplu işleme, pencereleme ve yatay otomatik ölçeklemeyi uygulamalı kazandıran ileri seviye eğitim.

3 gün İleri Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Apache Beam, Dataflow runner, akış işleme ve otomatik ölçekleme

Bu ileri seviye eğitim, Google Cloud Dataflow ve Apache Beam ile otomatik ölçeklenen veri hatlarını uçtan uca işler. Beam programlama modeli (PCollection, PTransform, ParDo, GroupByKey, Combine), toplu (batch) ve akış (streaming) işleme, pencereleme (fixed, sliding, session), watermark, trigger ve geç gelen veri yönetimi ele alınır. Ardından Dataflow runner mimarisi, yatay otomatik ölçekleme (Horizontal Autoscaling), Streaming Engine, Dataflow Shuffle, Dataflow Prime, kaynak optimizasyonu, Pub/Sub ve BigQuery entegrasyonu, hata toleransı ve maliyet-performans ayarı uygulamalı işlenir. Katılımcılar değişken yüke göre kendini ölçekleyen dayanıklı veri hatları tasarlayabilir.

Süre ve Format

3 Gün. Her gün dört modül; katılımcılar Beam modelinden Dataflow ölçekleme ve optimizasyona ilerler.

Seviye

İleri Seviye — Google Cloud Dataflow ve Apache Beam ile otomatik ölçeklenen akış ve toplu veri hatlarının ele alınması.

Öğrenme Metodu

Katılımcılar Beam SDK ile pipeline geliştirip Dataflow üzerinde çalıştırarak ölçekleme ve pencereleme davranışını gözlemler.

Neden Bu Eğitim?

⚡Otomatik Ölçekleme

Dataflow'un yatay otomatik ölçeklemesiyle değişken yükü verimli karşılarsınız.

🌊Akış İşleme

Windowing, watermark ve trigger ile sınırsız veri akışını doğru işlersiniz.

💰Maliyet Ayarı

Streaming Engine ve Shuffle ile kaynak ve maliyeti optimize edersiniz.

Anahtar Konular

Google Cloud DataflowApache Beamautoscaling pipelineakış işlemewindowingwatermarkStreaming EnginePub/Sub BigQuery
“İyi tasarlanmış bir veri hattı yükü büyüdükçe panik değil, otomatik ölçek üretir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
Programlama

Java veya Python ile programlama deneyimi güçlü biçimde faydalıdır.

2
GCP Temeli

Google Cloud temel servislerine (IAM, GCS) aşinalık beklenir.

3
Veri Kavramları

Batch/stream işleme ve SQL temellerine aşinalık faydalıdır.

4
GCP Hesabı

Uygulamalar için erişilebilir bir Google Cloud projesi/hesabı gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Apache Beam modeliyle temel bir veri hattı tasarlayabilir.
Modül 1
Beam Modeli
  • Apache Beam'in birleşik batch+stream modeli
  • PCollection: sınırlı ve sınırsız koleksiyonlar
  • PTransform kavramı ve kompozisyon
  • Pipeline, Runner ve SDK ilişkisi
  • Beam'in taşınabilirlik (portability) felsefesi
  • Java ve Python SDK farkları
Modül 2
Çekirdek Transform'lar
  • ParDo ve DoFn ile öğe bazlı işleme
  • GroupByKey ve anahtar bazlı gruplama
  • CoGroupByKey ile birleştirme (join)
  • Combine ve toplama (aggregation)
  • Flatten ve Partition
  • Side input ve side output kullanımı
Modül 3
I/O Konnektörleri
  • TextIO ve dosya tabanlı kaynaklar
  • Pub/Sub okuma ve yazma
  • BigQueryIO ile okuma/yazma
  • GCS ve Avro/Parquet formatları
  • Bounded ve unbounded kaynaklar
  • Dead-letter deseni ile hatalı kayıt yönetimi
Modül 4
Pipeline Yürütme
  • PipelineOptions ve runner seçimi
  • DirectRunner ile yerel test
  • DataflowRunner'a gönderim
  • Pipeline graph ve fusion kavramı
  • Şablon (template) tabanlı dağıtım
  • Flex template ile parametreli iş
Günün hedefiKatılımcı, sınırsız veri akışını doğru zaman semantiğiyle işleyebilir.
Modül 1
Pencereleme (Windowing)
  • Event time ve processing time ayrımı
  • Fixed (tumbling) pencereler
  • Sliding (kayan) pencereler
  • Session pencereleri
  • Global window ve kullanımları
  • Pencere birleştirme davranışı
Modül 2
Watermark
  • Watermark kavramı ve ilerleyişi
  • Veri tamlığı (completeness) tahmini
  • Watermark gecikmesi (lag) yorumu
  • Kaynak kaynaklı watermark üretimi
  • Watermark ve pencere kapanışı
  • İzleme araçlarında watermark takibi
Modül 3
Trigger'lar
  • Event-time ve processing-time trigger
  • Early ve late firing
  • Accumulating ve discarding mod
  • Composite trigger'lar
  • AfterWatermark ve AfterProcessingTime
  • Trigger seçiminin sonuca etkisi
Modül 4
Geç Veri ve Durum
  • Allowed lateness yapılandırması
  • Geç gelen verinin yeniden hesabı
  • Stateful DoFn ve state API
  • Timer API ile zamanlı işleme
  • Exactly-once işleme garantileri
  • Checkpoint ve dayanıklılık
Günün hedefiKatılımcı, Dataflow işlerini otomatik ölçeklenir ve maliyet-verimli biçimde yapılandırabilir.
Modül 1
Yatay Otomatik Ölçekleme
  • Horizontal Autoscaling çalışma mantığı
  • Worker sayısı ve maxNumWorkers ayarı
  • Batch işlerde ölçekleme sinyalleri
  • Streaming işlerde backlog temelli ölçekleme
  • Downscaling ve kaynak boşaltma
  • Ölçekleme sınırları ve kota yönetimi
Modül 2
Streaming Engine ve Shuffle
  • Dataflow Shuffle servisi (batch)
  • Streaming Engine mimarisi
  • Durum ve shuffle'ın worker'dan ayrılması
  • Dataflow Prime ve Vertical Autoscaling
  • Right fitting ve kaynak ipuçları
  • Streaming Engine'in ölçeklemeye etkisi
Modül 3
Performans Ayarı
  • Fusion ve fusion break (reshuffle)
  • Hot key tespiti ve dağıtımı
  • Worker makine tipi seçimi
  • Paralelizm ve veri çarpıklığı (skew)
  • I/O ve throughput darboğazları
  • Combiner lifting ile ağ azaltma
Modül 4
İzleme ve Maliyet
  • Dataflow job metrikleri ve grafikleri
  • System lag ve data freshness izleme
  • Cloud Monitoring uyarıları
  • vCPU, bellek ve shuffle faturalandırması
  • FlexRS ile maliyet düşürme (batch)
  • Maliyet-performans dengesi kararları

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Beam Modeli

PCollection ve PTransform ile veri hattı tasarlayabilirsiniz.

✅
Akış İşleme

Windowing, watermark ve trigger ile akış verisini işleyebilirsiniz.

✅
Durum Yönetimi

Stateful DoFn ve timer ile durumlu işleme kurabilirsiniz.

✅
Otomatik Ölçekleme

Dataflow yatay ölçeklemesini yapılandırabilirsiniz.

✅
Streaming Engine

Streaming Engine ve Shuffle ile ölçeklemeyi iyileştirebilirsiniz.

✅
Performans Ayarı

Fusion, hot key ve skew sorunlarını giderebilirsiniz.

✅
Entegrasyon

Pub/Sub ve BigQuery ile uçtan uca hat kurabilirsiniz.

✅
Maliyet Optimizasyonu

Kaynak ve maliyeti dengeleyerek işleri optimize edebilirsiniz.

Kimler İçin Uygundur?

  • Veri mühendisi
  • platform mühendisi
  • GCP geliştiricisi
  • akış/toplu veri hatları kuran profesyoneller için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Veri mühendisi, platform mühendisi ve GCP'de akış/toplu veri hatları kuran geliştiriciler için uygundur.
Hangi dil kullanılıyor?
Apache Beam Java ve Python SDK örnekleriyle işlenir; programlama deneyimi faydalıdır.
Otomatik ölçekleme nasıl ele alınıyor?
Yatay autoscaling, backlog temelli ölçekleme, Streaming Engine ve Dataflow Prime uygulamalı gösterilir.
GCP hesabı gerekir mi?
Uygulamalar için erişilebilir bir Google Cloud projesi/hesabı faydalıdır.
Sertifika veriliyor mu?
Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Dataflow Autoscaling Pipelines Eğitimi Sertifika Kodu DV-2026XX00 Tarih 27.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre3 gün
Seviyeİleri Seviye
FormatOnline / Yüz Yüze / Hibrit
Sertifika✓ Var
Hemen Bilgi Al
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

DevOps Kültürü ve UygulamalarıCompTIA Cloud Essentials+: DevOps in the Cloud Eğitimi
DevOps ve Konteyner Eğitimleri

CompTIA Cloud Essentials+: DevOps in the Cloud Eğitimi

2 günTemelOnline / Yüz Yüze / Hibrit

Cloud Essentials+ bakışıyla bulutta DevOps: CI/CD ve otomasyonun iş değeri, maliyet, risk ve dönüşüm kararı. Temel seviye iş odaklı DVA eğitimi.

Detayları Gör →
DevOps Kültürü ve UygulamalarıCompTIA Cloud+: Systems Integration and DevOps Eğitimi
DevOps ve Konteyner Eğitimleri

CompTIA Cloud+: Systems Integration and DevOps Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Cloud+ kapsamında sistem entegrasyonu ve DevOps: provisioning, IaC, betikleme, API/SDK entegrasyonu, orkestrasyon, CI/CD ve konteyner operasyonu. Orta seviye DV

Detayları Gör →
DevOps Kültürü ve UygulamalarıConfiguring a Messaging Platform: Transport Pipeline Eğitimi
DevOps ve Konteyner Eğitimleri

Configuring a Messaging Platform: Transport Pipeline Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Exchange taşıma hattını yapılandırın: transport pipeline, send/receive connector, TLS, transport rule, anti-spam ve message tracking. Orta seviye DVA eğitimi.

Detayları Gör →
DevOps Kültürü ve UygulamalarıCore DevOps Skills: Agile & DevOps Eğitimi
DevOps ve Konteyner Eğitimleri

Core DevOps Skills: Agile & DevOps Eğitimi

2 günTemelOnline / Yüz Yüze / Hibrit

Agile ve DevOps'un ilişkisini öğrenin: Agile Manifesto, Scrum/Kanban, Lean kökler ve çevik değerlerin sürekli teslimle hizası. Temel seviye DVA eğitimi.

Detayları Gör →
DevOps Kültürü ve UygulamalarıCore DevOps Skills: Case Studies in DevOps Eğitimi
DevOps ve Konteyner Eğitimleri

Core DevOps Skills: Case Studies in DevOps Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

Gerçek DevOps dönüşüm vakalarını analiz edin: başarı faktörleri, anti-pattern'ler, başarısızlık nedenleri ve uyarlanabilir dersler. Orta seviye DVA eğitimi.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn