Building Batch Data Pipelines on Google Cloud Eğitimi

Eğitim Hakkında

Batch pipeline geliştirmeyi (Beam, Spark, Data Fusion, Composer, BigQuery yükleme) uygulamalı biçimde ele alan program

Building Batch Data Pipelines on Google Cloud eğitimi; batch pipeline geliştirmeyi (Beam, Spark, Data Fusion, Composer, BigQuery yükleme) laboratuvar çalışmalarıyla ele alır. Program 3 günde şu başlıklarla ilerler: Veri Gölü ve Ambarı Mimarisi; Batch Veri Hatları: Dataflow, Dataproc ve Data Fusion; Veri Yükleme ve Entegrasyon. Her modülde komut, yapılandırma ve sorun giderme adımları uygulanır.

Süre ve Format

3 Gün. Her gün dört modül; günlük akış: Veri Gölü ve Ambarı Mimarisi → Batch Veri Hatları: Dataflow, Dataproc ve Data Fusion → Veri Yükleme ve Entegrasyon.

Seviye

Orta Seviye — Cloud Storage, BigQuery, Dataproc ve veri modelleme; ETL/ELT, Beam, Spark ve Composer orkestrasyonu; Batch/stream yükleme, Dataflow, Data Transfer ve federasyon

Öğrenme Metodu

Her gün Qwiklabs benzeri proje ortamında gerçek veri setleriyle pipeline kurulur: Pub/Sub, Dataflow, Dataproc ve BigQuery ile çalışan uçtan uca hatlar oluşturulur ve izlenir.

Neden Bu Eğitim?

🛠️Uçtan Uca Pipeline

Ingestion'dan analize kadar batch ve streaming hatları aynı katalogda tasarlarsınız.

⚖️Doğru Araç Seçimi

Dataflow, Dataproc, Data Fusion ve BigQuery SQL arasında gerekçeli seçim yaparsınız.

🔒Kalite ve Yönetişim

Veri kalitesi, lineage ve erişim kontrolünü hattın parçası olarak tasarlarsınız.

Anahtar Konular

building batch data pipelines on google cloud eğitimigoogle cloud veri mühendisliğidata engineering on google clouddataflowdataprocpub/subapache beamcloud composergcp veri hattıbigquery veri ambarıveri gölü

“Güvenilir veri hattı, en gösterişli modelden daha değerli bir varlıktır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

Orta düzeyde SQL yazabilmek gerekir.

2

Programlama

Python veya Java'da temel kodlama bilgisi faydalıdır.

3

Veri Kavramları

ETL, veri ambarı ve dosya formatlarına aşinalık beklenir.

4

Lab Ortamı

Google Cloud hesabı ve eğitimde sağlanan proje gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Google Cloud üzerinde veri gölü ile veri ambarını birlikte tasarlar ve yük için doğru depolama katmanını seçer.

Modül 1

Veri Mühendisliği Rolü ve Mimari

Veri mühendisinin sorumlulukları ve veri yaşam döngüsü
Veri gölü, veri ambarı ve lakehouse karşılaştırması
Medallion (bronze/silver/gold) katman düzeni
Batch ve streaming mimari desenleri (Lambda/Kappa)
Kaynak sistemler ve ingestion seçenekleri
Hizmet seçimi: depolama, işleme, analiz

Modül 2

Veri Gölü: Cloud Storage

Bucket tasarımı, klasör düzeni ve nesne adlandırma
Depolama sınıfları ve lifecycle kuralları
Parquet, Avro ve ORC format seçimi
IAM, uniform bucket-level access ve imzalı URL
Transfer Service ve Storage Transfer ile veri taşıma
Dataplex lake, zone ve asset yapısı

Modül 3

Veri Ambarı: BigQuery

Dimensional model: yıldız ve kar tanesi şema
Partition, clustering ve denormalizasyon
Staging ve production dataset ayrımı
ELT yaklaşımıyla dönüşüm
Kalite kontrolleri ve veri doğrulama
Veri paylaşımı ve Analytics Hub

Modül 4

Hadoop/Spark Ekosistemi: Dataproc

Dataproc cluster tipleri ve ephemeral cluster yaklaşımı
Cloud Storage connector ve HDFS'den geçiş
Autoscaling policy ve preemptible worker
Dataproc Serverless for Spark
Initialization action ve optional component
Workflow template ile iş zincirleme

Günün hedefiKatılımcı batch veri hatlarını Dataflow, Dataproc ve Data Fusion ile kurar, Cloud Composer ile zamanlayıp izler.

Modül 1

Batch Pipeline Tasarımı

EL, ELT ve ETL yaklaşımlarının seçim kriterleri
Batch pipeline kalite ve idempotentlik ilkeleri
Şema yönetimi ve veri sözleşmeleri
Hata işleme, dead-letter ve yeniden çalıştırma
Hizmet seçimi: Dataflow, Dataproc veya BigQuery SQL
Maliyet bilinçli pipeline tasarımı

Modül 2

Apache Beam ve Dataflow

PCollection, PTransform ve Pipeline soyutlaması
ParDo, GroupByKey, Combine ve yan girdiler (side input)
Python ve Java Beam SDK
Flex Template ve Classic Template
Dataflow Shuffle, FlexRS ve otomatik ölçekleme
Dataflow monitoring arayüzü ve job graph

Modül 3

Spark ve Data Fusion

Spark job'ını Dataproc'ta çalıştırma (gcloud dataproc jobs submit)
Spark SQL ve BigQuery connector
Data Fusion: Studio, pipeline ve plugin
Wrangler ile veri hazırlama
Replication ile veri çoğaltma
Instance edition ve Dataproc profili

Modül 4

Orkestrasyon: Cloud Composer

Airflow DAG, task ve operator kavramları
Composer 2 ortam yapısı ve ölçekleme
Dataflow, Dataproc ve BigQuery operatörleri
Sensör, retry ve SLA tanımı
Cron zamanlama ve backfill
Alternatif: Workflows ve Cloud Scheduler

Günün hedefiKatılımcı farklı kaynaklardan BigQuery'ye veri taşır ve yükleme yöntemini veri hacmine göre seçer.

Modül 1

Batch Yükleme

bq load ve LOAD DATA ifadesi
CSV, JSON, Avro, Parquet ve ORC format farkları
Şema otomatik algılama ve hata toleransı (max_bad_records)
Cloud Storage'tan hive partitioned yükleme
Yükleme işlerinin izlenmesi ve job geçmişi
Yükleme ücretsizdir, sorgu ücretlidir ilkesi

Modül 2

Streaming ve Gerçek Zamanlı

Storage Write API ve eski insertAll karşılaştırması
Pub/Sub BigQuery subscription
Dataflow şablonları ile Pub/Sub'dan BigQuery'ye akış
Datastream ile Cloud SQL/Oracle CDC replikasyonu
Streaming buffer ve DML kısıtları
Exactly-once yazım ve tekilleştirme

Modül 3

Entegrasyon Araçları

BigQuery Data Transfer Service (Google Ads, SaaS kaynakları)
Zamanlanmış sorgular
Dataform ile SQL tabanlı ELT akışı
Cloud Composer (Airflow) BigQueryInsertJobOperator
Dataflow / Apache Beam BigQueryIO
Fivetran ve Datastream gibi üçüncü taraf bağlayıcılar

Modül 4

Federasyon ve Dış Kaynaklar

External table: Cloud Storage, Drive, Bigtable
Federated query: Cloud SQL ve Spanner EXTERNAL_QUERY
BigLake tabloları ve satır/kolon düzeyi güvenlik
Analytics Hub ile veri paylaşımı
Cross-cloud (BigQuery Omni) genel bakış
Federasyon ve yükleme maliyet/performans kıyası

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Mimari Tasarım

Veri gölü ve ambarı mimarisini ihtiyaca göre tasarlayabilirsiniz.

📦

Batch Pipeline

Dataflow ve Dataproc ile batch hatları kurabilirsiniz.

🌊

Streaming Pipeline

Pub/Sub ve Dataflow ile pencereli akış işleme yapabilirsiniz.

🗄️

Hedef Seçimi

BigQuery ve Bigtable arasında doğru hedefi seçebilirsiniz.

🎛️

Orkestrasyon

Cloud Composer ile iş akışı zamanlayıp izleyebilirsiniz.

✔️

Veri Kalitesi

Dataplex ve Dataform ile kalite kontrollerini otomatikleştirebilirsiniz.

🤖

ML Entegrasyonu

BigQuery ML ve Vertex AI ile hattı ML'e bağlayabilirsiniz.

📈

İşletim

Pipeline metrikleri, alarm ve maliyetini yönetebilirsiniz.

Kimler İçin Uygundur?

Veri hattı geliştiren veri mühendisleri
ETL geliştiricileri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri hattı geliştiren veri mühendisleri ve ETL geliştiricileri için uygundur.

Building Batch Data Pipelines on Google Cloud eğitimi kaç gün sürer ve nasıl işlenir?

Program 3 gündür; her gün dört modül ve modül başına altı konu işlenir. Her gün Qwiklabs benzeri proje ortamında gerçek veri setleriyle pipeline kurulur: Pub/Sub, Dataflow, Dataproc ve BigQuery ile çalışan uçtan uca hatlar oluşturulur ve izlenir.

Eğitime katılmak için ön bilgi gerekir mi?

Orta düzeyde SQL yazabilmek gerekir. Python veya Java'da temel kodlama bilgisi faydalıdır. Google Cloud hesabı ve eğitimde sağlanan proje gerekir.

Eğitimde hangi konular işlenir?

Günlük ana başlıklar: Veri Gölü ve Ambarı Mimarisi; Batch Veri Hatları: Dataflow, Dataproc ve Data Fusion; Veri Yükleme ve Entegrasyon.

Eğitim sonunda sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir; bu belge DVA'nın katılım ve başarı belgesidir, üçüncü taraf bir sınavın yerine geçmez.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BUILDING BATCH DATA PIPELINES ON GOOGLE CLOUD EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Mühendisliği Rolü ve Mimari

Veri Gölü: Cloud Storage

Veri Ambarı: BigQuery

Hadoop/Spark Ekosistemi: Dataproc

Batch Pipeline Tasarımı

Apache Beam ve Dataflow

Spark ve Data Fusion

Orkestrasyon: Cloud Composer

Batch Yükleme

Streaming ve Gerçek Zamanlı

Entegrasyon Araçları

Federasyon ve Dış Kaynaklar

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Intermediate GCP: Data Storage and Querying with GCP Eğitimi

Intermediate GCP: Infrastructure & Compute Essentials Eğitimi

Intermediate GCP: Monitoring, Logging, & Cost Optimization Eğitimi

Introduction to Data Analytics on Google Cloud (IDAGC) Eğitimi

Introduction to Data Analytics on Google Cloud Eğitimi