Build Streaming Data Pipelines on Google Cloud Eğitimi

Eğitim Hakkında

Streaming pipeline tasarımını (Pub/Sub, Dataflow pencereleme, Bigtable/BigQuery) uygulamalı biçimde ele alan program

Build Streaming Data Pipelines on Google Cloud eğitimi; streaming pipeline tasarımını (Pub/Sub, Dataflow pencereleme, Bigtable/BigQuery) laboratuvar çalışmalarıyla ele alır. Program 3 günde şu başlıklarla ilerler: Veri Gölü ve Ambarı Mimarisi; Streaming Veri Hatları: Pub/Sub, Dataflow ve Bigtable; Veri Kalitesi, Yönetişim ve ML Hatları. Her modülde komut, yapılandırma ve sorun giderme adımları uygulanır.

Süre ve Format

3 Gün. Her gün dört modül; günlük akış: Veri Gölü ve Ambarı Mimarisi → Streaming Veri Hatları: Pub/Sub, Dataflow ve Bigtable → Veri Kalitesi, Yönetişim ve ML Hatları.

Seviye

İleri Seviye — Cloud Storage, BigQuery, Dataproc ve veri modelleme; Gerçek zamanlı ingestion, pencereleme ve düşük gecikmeli depolama; Dataplex, Dataform, BQML ve Vertex AI entegrasyonu

Öğrenme Metodu

Her gün Qwiklabs benzeri proje ortamında gerçek veri setleriyle pipeline kurulur: Pub/Sub, Dataflow, Dataproc ve BigQuery ile çalışan uçtan uca hatlar oluşturulur ve izlenir.

Neden Bu Eğitim?

🛠️Uçtan Uca Pipeline

Ingestion'dan analize kadar batch ve streaming hatları aynı katalogda tasarlarsınız.

⚖️Doğru Araç Seçimi

Dataflow, Dataproc, Data Fusion ve BigQuery SQL arasında gerekçeli seçim yaparsınız.

🔒Kalite ve Yönetişim

Veri kalitesi, lineage ve erişim kontrolünü hattın parçası olarak tasarlarsınız.

Anahtar Konular

build streaming data pipelines on google cloud eğitimigoogle cloud veri mühendisliğidata engineering on google clouddataflowdataprocpub/subapache beamcloud composergcp veri hattıbigquery veri ambarıveri gölü

“Güvenilir veri hattı, en gösterişli modelden daha değerli bir varlıktır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

Orta düzeyde SQL yazabilmek gerekir.

2

Programlama

Python veya Java'da temel kodlama bilgisi faydalıdır.

3

Veri Kavramları

ETL, veri ambarı ve dosya formatlarına aşinalık beklenir.

4

Lab Ortamı

Google Cloud hesabı ve eğitimde sağlanan proje gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Google Cloud üzerinde veri gölü ile veri ambarını birlikte tasarlar ve yük için doğru depolama katmanını seçer.

Modül 1

Veri Mühendisliği Rolü ve Mimari

Veri mühendisinin sorumlulukları ve veri yaşam döngüsü
Veri gölü, veri ambarı ve lakehouse karşılaştırması
Medallion (bronze/silver/gold) katman düzeni
Batch ve streaming mimari desenleri (Lambda/Kappa)
Kaynak sistemler ve ingestion seçenekleri
Hizmet seçimi: depolama, işleme, analiz

Modül 2

Veri Gölü: Cloud Storage

Bucket tasarımı, klasör düzeni ve nesne adlandırma
Depolama sınıfları ve lifecycle kuralları
Parquet, Avro ve ORC format seçimi
IAM, uniform bucket-level access ve imzalı URL
Transfer Service ve Storage Transfer ile veri taşıma
Dataplex lake, zone ve asset yapısı

Modül 3

Veri Ambarı: BigQuery

Dimensional model: yıldız ve kar tanesi şema
Partition, clustering ve denormalizasyon
Staging ve production dataset ayrımı
ELT yaklaşımıyla dönüşüm
Kalite kontrolleri ve veri doğrulama
Veri paylaşımı ve Analytics Hub

Modül 4

Hadoop/Spark Ekosistemi: Dataproc

Dataproc cluster tipleri ve ephemeral cluster yaklaşımı
Cloud Storage connector ve HDFS'den geçiş
Autoscaling policy ve preemptible worker
Dataproc Serverless for Spark
Initialization action ve optional component
Workflow template ile iş zincirleme

Günün hedefiKatılımcı olay verisini Pub/Sub ile alır, Dataflow ile pencereleyerek işler ve BigQuery ya da Bigtable'a yazar.

Modül 1

Pub/Sub ile Olay Alımı

Topic, subscription (pull/push) ve ack deadline
At-least-once teslimat ve tekilleştirme
Message ordering ve ordering key
Dead-letter topic ve retry politikası
Schema ve BigQuery subscription
Snapshot ve seek ile olay yeniden oynatma

Modül 2

Streaming Dataflow

Event time, processing time ve watermark
Fixed, sliding ve session pencereleri
Trigger ve accumulation modu
Geç gelen veri (late data) ve allowed lateness
Stateful DoFn ve timer
Exactly-once ve Streaming Engine

Modül 3

Streaming Hedefleri

BigQuery Storage Write API ile akış yazımı
Bigtable satır anahtarı (row key) tasarımı
Bigtable cluster, replikasyon ve app profile
Hotspotting'in önlenmesi
Cloud Storage'a pencereli yazım
Streaming + batch birleştirme (reprocessing)

Modül 4

Streaming İşletimi

Pipeline lag ve system latency metrikleri
Autoscaling ve backlog yönetimi
Dataflow drain, update ve cancel farkı
Alert tanımı: backlog, hata oranı
Şema değişimi ve pipeline güncelleme
Maliyet izleme ve kaynak boyutlandırma

Günün hedefiKatılımcı veri kalitesini otomatik kurallarla denetler ve veri hattını makine öğrenmesi iş akışına bağlar.

Modül 1

Veri Kalitesi ve Yönetişim

Dataplex otomatik veri kalitesi görevleri
Veri profili çıkarma ve anomali tespiti
Data lineage görselleştirme
Policy tag ve kolon düzeyi erişim
Metadata yönetimi ve iş sözlüğü
KVKK kapsamında kişisel veri maskeleme

Modül 2

SQL Tabanlı Dönüşüm: Dataform

SQLX dosyaları ve bağımlılık grafiği
Incremental tablo ve assertion
Git bağlantısı ve workflow zamanlama
Ortam ayrımı (dev/prod) ve release configuration
Unit test ve veri kalitesi assertion'ları
Dataform ve Composer entegrasyonu

Modül 3

Veri Hattında ML

BigQuery ML ile model eğitimi
Vertex AI Pipelines ve Feature Store
Kubeflow / TFX bileşenlerine genel bakış
Model servisleme: batch ve online prediction
Model izleme ve veri kayması (drift)
MLOps için CI/CD yaklaşımı

Modül 4

Üretime Alma ve Güvence

CI/CD ile pipeline dağıtımı (Cloud Build)
Terraform ile veri altyapısının kodlanması
Test stratejisi: birim, entegrasyon, veri testleri
Gözlemlenebilirlik: log, metrik, alarm
Maliyet optimizasyonu: slot, worker, depolama
Sınav/portfolyo için uçtan uca referans proje

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Mimari Tasarım

Veri gölü ve ambarı mimarisini ihtiyaca göre tasarlayabilirsiniz.

📦

Batch Pipeline

Dataflow ve Dataproc ile batch hatları kurabilirsiniz.

🌊

Streaming Pipeline

Pub/Sub ve Dataflow ile pencereli akış işleme yapabilirsiniz.

🗄️

Hedef Seçimi

BigQuery ve Bigtable arasında doğru hedefi seçebilirsiniz.

🎛️

Orkestrasyon

Cloud Composer ile iş akışı zamanlayıp izleyebilirsiniz.

✔️

Veri Kalitesi

Dataplex ve Dataform ile kalite kontrollerini otomatikleştirebilirsiniz.

🤖

ML Entegrasyonu

BigQuery ML ve Vertex AI ile hattı ML'e bağlayabilirsiniz.

📈

İşletim

Pipeline metrikleri, alarm ve maliyetini yönetebilirsiniz.

Kimler İçin Uygundur?

Gerçek zamanlı veri işleyen veri mühendisleri
platform ekipleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Gerçek zamanlı veri işleyen veri mühendisleri ve platform ekipleri için uygundur.

Build Streaming Data Pipelines on Google Cloud eğitimi kaç gün sürer ve nasıl işlenir?

Program 3 gündür; her gün dört modül ve modül başına altı konu işlenir. Her gün Qwiklabs benzeri proje ortamında gerçek veri setleriyle pipeline kurulur: Pub/Sub, Dataflow, Dataproc ve BigQuery ile çalışan uçtan uca hatlar oluşturulur ve izlenir.

Eğitime katılmak için ön bilgi gerekir mi?

Orta düzeyde SQL yazabilmek gerekir. Python veya Java'da temel kodlama bilgisi faydalıdır. Google Cloud hesabı ve eğitimde sağlanan proje gerekir.

Eğitimde hangi konular işlenir?

Günlük ana başlıklar: Veri Gölü ve Ambarı Mimarisi; Streaming Veri Hatları: Pub/Sub, Dataflow ve Bigtable; Veri Kalitesi, Yönetişim ve ML Hatları.

Eğitim sonunda sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir; bu belge DVA'nın katılım ve başarı belgesidir, üçüncü taraf bir sınavın yerine geçmez.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BUILD STREAMING DATA PIPELINES ON GOOGLE CLOUD EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Mühendisliği Rolü ve Mimari

Veri Gölü: Cloud Storage

Veri Ambarı: BigQuery

Hadoop/Spark Ekosistemi: Dataproc

Pub/Sub ile Olay Alımı

Streaming Dataflow

Streaming Hedefleri

Streaming İşletimi

Veri Kalitesi ve Yönetişim

SQL Tabanlı Dönüşüm: Dataform

Veri Hattında ML

Üretime Alma ve Güvence

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Google Cloud Dijital Lider (CDL) – Sınav Hazırlığı Eğitimi

Google Cloud Fundamentals Eğitimi

Google Cloud Fundamentals for Researchers (GCFR) Eğitimi

Google Cloud Fundamentals: Core Infrastructure (GC-FUND) Eğitimi

Google Cloud Fundamentals: Core Infrastructure (GCF-CI) Eğitimi