Data Engineering with Google Cloud Platform

Eğitim Hakkında

Cloud Storage, BigLake ve Dataflow ekseninde uygulamalı Google Cloud eğitimi

Veri gölü ve veri ambarı yaklaşımını birlikte ele alan veri mühendisliği eğitimidir. Cloud Storage ve BigLake tabanlı göl mimarisi, göç stratejileri, Beam/Dataflow, Dataproc ve Data Fusion ile işleme, Pub/Sub ve Datastream ile akış/CDC, Cloud Composer orkestrasyonu, Dataform ile ELT ve BigQuery yönetişimi uygulamalı işlenir.

Süre ve Format

4 Gün. Her gün dört modül; her modülde altı teknik başlık, Dataflow, Data Fusion ve Dataform laboratuvarları ile desteklenir.

Seviye

İleri Seviye — Cloud Storage, BigLake, Dataflow ve Cloud Data Fusion dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül Dataflow, Data Fusion ve Dataform laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

Cloud Storage, BigLake ve Dataflow gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül Dataflow, Data Fusion ve Dataform laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Cloud Data Fusion, Pub/Sub ve Dataform konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

Data Engineering with Google Cloud Platform EğitimiData Engineering with Google Cloud PlatformCloud StorageBigLakeDataflowCloud Data FusionPub/SubDataformGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“Cloud Storage doğru tasarlandığında veri, yük olmaktan çıkar ve karar hızına dönüşür.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, veri Yapıları ve Şema Tasarımı, cloud Storage Yönetimi, veri Gölü ve BigLake Mimarisi ve veri Göçü Stratejileri ve Araçları konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Veri Yapıları ve Şema Tasarımı

Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veri ayrımı
Normalizasyon ile denormalizasyon kararları ve OLTP / OLAP farkı
Bigtable, BigQuery ve Spanner için şema tasarım kalıpları
Veri türleri, NULL yönetimi ve ARRAY / STRUCT kullanımı
Erişim desenine göre anahtar ve bölüm seçimi
Şema evrimi ve geriye dönük uyumluluk

Modül 2

Cloud Storage Yönetimi

Standard, Nearline, Coldline ve Archive depolama sınıfları ile maliyet etkisi
Object lifecycle yönetimi, versioning ve retention policy / bucket lock
Uniform bucket-level access, ACL ve signed URL ile erişim kontrolü
gsutil ve gcloud storage ile paralel yükleme, rsync ve composite upload
Pub/Sub bildirimleri ve Eventarc ile nesne olaylarına tepki
Storage Transfer Service ve çok bölgeli (dual-region) bucket tasarımı

Modül 3

Veri Gölü ve BigLake Mimarisi

Cloud Storage üzerinde Parquet / ORC veri gölü düzeni ve bölüm yapısı
BigLake tabloları ile ince taneli erişim kontrolü
Apache Iceberg tabloları ve metadata yönetimi
Dataproc Metastore ve BigQuery arasında şema paylaşımı
Veri gölü ile veri ambarı arasında seçim ölçütleri
Veri sürümleme ve yaşam döngüsü politikaları

Modül 4

Veri Göçü Stratejileri ve Araçları

Göç yaklaşımları: lift-and-shift, replatform ve yeniden tasarım (refactor)
Database Migration Service ile MySQL / PostgreSQL için sürekli replikasyon
Storage Transfer Service ve Transfer Appliance ile büyük hacimli çevrimdışı aktarım
BigQuery Migration Service ile Teradata/Hive SQL çevirisi
Geçiş öncesi doğrulama, kesinti penceresi (cutover) ve geri dönüş planı
Ağ bant genişliği hesabı, şifreleme ve veri bütünlüğü kontrolü (checksum)

Günün hedefiKatılımcı, dataflow ve Apache Beam ile Veri İşleme, dataproc ile Hadoop ve Spark İşleme, data Fusion, Dataprep ve Dataplex ve cloud Composer ile İş Akışı Orkestrasyonu konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Dataflow ve Apache Beam ile Veri İşleme

Beam programlama modeli: Pipeline, PCollection, PTransform ve ParDo
GroupByKey, CombinePerKey, Side Input ve yan çıktılar (tagged outputs)
Windowing türleri: fixed, sliding, session ve global pencere
Event time, watermark, trigger ve geç gelen veri (allowed lateness) yönetimi
Dataflow Runner ile iş başlatma, autoscaling, Streaming Engine ve Shuffle servisi
Classic ve Flex Template ile yeniden kullanılabilir pipeline dağıtımı

Modül 2

Dataproc ile Hadoop ve Spark İşleme

Dataproc küme mimarisi: master, worker ve preemptible/secondary worker düğümleri
Geçici (ephemeral) küme yaklaşımı ve Cloud Storage connector ile HDFS yerine GCS
Spark job gönderme, PySpark ve Spark SQL ile veri dönüşümü
Autoscaling politikaları ve initialization action ile özelleştirme
Dataproc Serverless for Spark ve Dataproc Metastore
Workflow template ile zincirli iş tanımı ve Hadoop iş yüklerinin GCP'ye taşınması

Modül 3

Data Fusion, Dataprep ve Dataplex

Cloud Data Fusion'da görsel pipeline tasarımı ve plugin yapısı
Wrangler ile veri temizleme ve dönüştürme adımları
Dataprep (Trifacta) ile hazırlık recipe'leri
Dataplex lake, zone ve asset kavramları ile veri yönetişimi
Veri kalitesi görevleri, lineage ve metadata yönetimi
Araç seçimi: kod gerektirmeyen ETL ile Dataflow / Dataproc karşılaştırması

Modül 4

Cloud Composer ile İş Akışı Orkestrasyonu

Apache Airflow DAG yapısı, task bağımlılıkları ve zamanlama (schedule)
BigQueryInsertJobOperator, DataflowTemplatedJobStartOperator gibi Google operatörleri
Sensör, XCom ve dinamik görev üretimi
Composer 2 ortam boyutlandırma, worker autoscaling ve ağ yapılandırması
Retry, SLA, backfill ve hata bildirimi stratejileri
DAG'lerin Cloud Storage üzerinden dağıtımı ve CI/CD ile test edilmesi

Günün hedefiKatılımcı, pub/Sub ile Mesajlaşma, akış (Streaming) Mimari Desenleri, datastream ile Değişiklik Verisi Yakalama (CDC) ve servis Zinciri ve Uçtan Uca Pipeline Tasarımı konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Pub/Sub ile Mesajlaşma

Topic, subscription ve mesaj yaşam döngüsü; at-least-once teslimat semantiği
Pull, push ve BigQuery / Cloud Storage subscription türleri
Ack deadline, yeniden deneme politikası ve dead-letter topic yapılandırması
Message ordering key ve exactly-once delivery kullanım koşulları
Şema (Avro/Protobuf) doğrulama ve mesaj saklama (retention) / seek ile tekrar oynatma
Pub/Sub Lite ve Kafka karşılaştırması, kota ve ölçeklenme

Modül 2

Akış (Streaming) Mimari Desenleri

Lambda ve Kappa mimarilerinin karşılaştırması ve GCP karşılıkları
Pub/Sub → Dataflow → BigQuery / Bigtable referans mimarisi
Exactly-once işleme, idempotent yazma ve tekilleştirme (dedup) teknikleri
Geç gelen veri, çok bölgeli yedeklilik ve replay stratejileri
Gerçek zamanlı kullanıcı etkinliği, IoT telemetri ve log analitiği kullanım senaryoları
Gecikme, verim (throughput) ve maliyet ödünleşimleri

Modül 3

Datastream ile Değişiklik Verisi Yakalama (CDC)

CDC kavramı, log tabanlı yakalama ve MySQL binlog / PostgreSQL logical decoding / Oracle LogMiner kaynakları
Datastream bağlantı profilleri, stream oluşturma ve kaynak yapılandırması
Backfill ve sürekli CDC akışı, nesne dahil etme/dışlama kuralları
Hedef olarak Cloud Storage (Avro/JSON) ve BigQuery ile yazma modları
Private connectivity, IP allowlist ve ters SSH tüneli ile güvenli bağlantı
Dataflow şablonları ile Datastream çıktısının BigQuery'de birleştirilmesi ve gecikme izleme

Modül 4

Servis Zinciri ve Uçtan Uca Pipeline Tasarımı

Veri kaynağından tüketime akış: ingest, store, process, serve katmanları
Pub/Sub, Dataflow, BigQuery ve Cloud Storage servislerinin birbirine bağlanması
Cloud Scheduler, Workflows ve Eventarc ile olay tabanlı tetikleme
Hata yönetimi: yeniden deneme, dead-letter ve idempotent tasarım
Servis hesapları ve IAM ile aşamalar arası güvenli yetkilendirme
Pipeline izleme, SLA ve maliyet tahmini

Günün hedefiKatılımcı, veri Ambarı Tasarımı ve ELT Kalıpları, bigQuery Yönetimi, Güvenlik ve Rezervasyonlar, veri Güvenliği ve Gizliliği ve cloud Monitoring, Logging ve Uyarı Yönetimi konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Veri Ambarı Tasarımı ve ELT Kalıpları

Star schema, snowflake ve geniş (wide) tablo yaklaşımlarının BigQuery'deki yeri
Yavaş değişen boyutlar (SCD Tip 1/2) için MERGE ifadeleri
Staging, core ve mart katmanlı (medallion benzeri) veri ambarı mimarisi
Dataform ile SQL tabanlı ELT iş akışları ve bağımlılık yönetimi
Veri kalitesi kontrolleri (assertion) ve şema değişikliği yönetimi
Dataplex ile veri yönetişimi, lineage ve keşif

Modül 2

BigQuery Yönetimi, Güvenlik ve Rezervasyonlar

Proje, dataset ve tablo düzeyinde IAM rolleri (dataViewer, jobUser, dataEditor)
Authorized view, authorized dataset ve row-level security erişim politikaları
Policy tag ile kolon düzeyi güvenlik ve Data Catalog / Dataplex entegrasyonu
Reservation, assignment ve slot taahhütleri (commitment) ile kapasite yönetimi
CMEK ile şifreleme ve audit log ile erişim izleme
Bütçe sınırları, custom quota ve kullanıcı bazlı sorgu kısıtlama

Modül 3

Veri Güvenliği ve Gizliliği

Cloud KMS, CMEK ve anahtar döndürme (key rotation) politikaları
VPC Service Controls ile veri sızıntısı çevresi (perimeter) tanımı
Sensitive Data Protection: inspect, de-identify ve tokenization
Secret Manager ile parola ve anahtarların saklanması
Veri kalıcılığı, yedekleme ve KVKK/GDPR kapsamında veri konumu kararları
Audit log ve Security Command Center bulgularının izlenmesi

Modül 4

Cloud Monitoring, Logging ve Uyarı Yönetimi

Ops Agent kurulumu ve metrik/log toplama yapılandırması
Cloud Monitoring dashboard, MQL/PromQL sorguları ve uptime check
Alerting policy, bildirim kanalları ve SLO / hata bütçesi izleme
Cloud Logging sorgu dili, log-based metric ve log bucket saklama süreleri
Log Router sink'leri ile BigQuery, Cloud Storage ve Pub/Sub'a log aktarımı
Error Reporting, Cloud Trace ve Cloud Profiler ile uygulama teşhisi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Şema Tasarımı

Erişim desenine göre veri depolarında şema ve anahtar tasarlayabilirsiniz.

🔧

Veri Gölü

BigLake ve Iceberg ile veri gölü ile ambarı birlikte kullanabilirsiniz.

📊

Dataflow ve Beam

Beam ile batch ve streaming pipeline yazıp Dataflow üzerinde çalıştırabilirsiniz.

🔐

Görsel ETL Araçları

Data Fusion ve Dataplex ile kod gerektirmeyen veri hazırlama akışları kurabilirsiniz.

🚀

Pub/Sub Mesajlaşma

Pub/Sub topic ve subscription tasarımını güvenilir teslimat için yapılandırabilirsiniz.

🧩

Datastream CDC

Datastream ile ilişkisel veritabanlarından BigQuery'ye CDC akışı kurabilirsiniz.

📈

Veri Ambarı Tasarımı

Katmanlı veri ambarı mimarisi kurup MERGE ve Dataform ile ELT akışları oluşturabilirsiniz.

🛠️

Veri Güvenliği

CMEK, VPC Service Controls ve DLP ile veri güvenliği katmanları kurabilirsiniz.

Kimler İçin Uygundur?

Kurumsal veri platformu tasarlayan veri mühendisleri
mimarlar
BI geliştiricileri içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Kurumsal veri platformu tasarlayan veri mühendisleri, mimarlar ve BI geliştiricileri içindir.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL ve veri kavramları bilgisi önerilir; Beam ve Spark örnekleri için Python ya da Java okuyabilmek faydalıdır. Google Cloud ortamı laboratuvarda birlikte kurulur.

Data Engineering with Google Cloud Platform eğitiminde hangi konular işlenir?

1. gün Şema Tasarımı ve Cloud Storage; 2. gün Dataflow ve Beam ve Dataproc ve Spark; 3. gün Pub/Sub Mesajlaşma ve Streaming Mimarisi; 4. gün Veri Ambarı Tasarımı ve BigQuery Yönetimi. Ayrıca Cloud Storage, BigLake ve Dataflow uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Eğitim nasıl yürütülür?

Eğitim 4 gündür ve her gün dört modülden oluşur. Anlatımlar Dataflow, Data Fusion ve Dataform laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING WITH GOOGLE CLOUD PLATFORM EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Yapıları ve Şema Tasarımı

Cloud Storage Yönetimi

Veri Gölü ve BigLake Mimarisi

Veri Göçü Stratejileri ve Araçları

Dataflow ve Apache Beam ile Veri İşleme

Dataproc ile Hadoop ve Spark İşleme

Data Fusion, Dataprep ve Dataplex

Cloud Composer ile İş Akışı Orkestrasyonu

Pub/Sub ile Mesajlaşma

Akış (Streaming) Mimari Desenleri

Datastream ile Değişiklik Verisi Yakalama (CDC)

Servis Zinciri ve Uçtan Uca Pipeline Tasarımı

Veri Ambarı Tasarımı ve ELT Kalıpları

BigQuery Yönetimi, Güvenlik ve Rezervasyonlar

Veri Güvenliği ve Gizliliği

Cloud Monitoring, Logging ve Uyarı Yönetimi

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Google Cloud Fundamentals: Core Infrastructure (GC-FUND) Eğitimi

Google Cloud Fundamentals: Core Infrastructure (GCF-CI) Eğitimi

Google Cloud Fundamentals: Core Infrastructure Eğitimi

Google Cloud Platform Fundamentals Eğitimi

Google Cloud Platform Temel Bilgiler ve Yönetim Eğitimi