Data Engineering on Google Cloud (GC-DE)

Eğitim Hakkında

BigQuery, Dataflow ve Pub/Sub ekseninde uygulamalı Google Cloud eğitimi

Google Cloud üzerinde veri mühendisliği yaşam döngüsünü uçtan uca ele alır: Cloud Storage veri gölü, Dataproc ile Spark işleme, Apache Beam ve Dataflow ile batch/streaming pipeline, Pub/Sub, Datastream ile CDC, Cloud Composer ile orkestrasyon ve BigQuery depolama tasarımı, sorgu optimizasyonu ve BigQuery ML uygulamalı laboratuvarlarla işlenir.

Süre ve Format

4 Gün. Her gün dört modül; her modülde altı teknik başlık, Cloud Shell, BigQuery, Dataflow ve Dataproc laboratuvarları ile desteklenir.

Seviye

İleri Seviye — BigQuery, Dataflow, Pub/Sub ve Dataproc dahil uçtan uca teknik yelpaze

Öğrenme Metodu

Her modül Cloud Shell, BigQuery, Dataflow ve Dataproc laboratuvarları üzerinde yönlendirmeli uygulamayla pekiştirilir; katılımcılar komut, sorgu ve yapılandırmaları adım adım kendi projelerinde çalıştırır.

Neden Bu Eğitim?

🎯Konuya Özgü İçerik

BigQuery, Dataflow ve Pub/Sub gibi sahada karşılaşılan bileşenler komut ve yapılandırma düzeyinde ele alınır.

🛠️Uygulamalı Laboratuvar

Her modül Cloud Shell, BigQuery, Dataflow ve Dataproc laboratuvarları ile pekiştirilir; katılımcılar öğrendiklerini kendi projelerinde çalıştırır.

📈Üretime Dönük Bakış

Dataproc, Cloud Composer ve Datastream konularında performans, güvenlik ve maliyet ödünleşimleri gerçek senaryolarla tartışılır.

Anahtar Konular

Data Engineering on Google Cloud (GC-DE) EğitimiData Engineering on Google Cloud (GC-DE)BigQueryDataflowPub/SubDataprocCloud ComposerDatastreamGoogle Cloud eğitimiGCP eğitimiDigital Vizyon Akademi

“BigQuery doğru tasarlandığında veri, yük olmaktan çıkar ve karar hızına dönüşür.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Temeli

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi eğitimde yazılacak sorguları rahat takip etmenizi sağlar.

2

Veri Kavramları

ETL/ELT, veri ambarı ve batch ile streaming ayrımı hakkında temel bilgi önerilir.

3

Python Okuryazarlığı

Beam ve Spark örneklerini okuyabilecek kadar Python ya da Java bilgisi faydalıdır.

4

Laboratuvar Ortamı

Google Cloud hesabı, güncel tarayıcı ve Cloud Shell erişimi olan internet bağlantılı bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, google Cloud Kaynak Hiyerarşisi ve Konsol, cloud Storage Yönetimi, veri Yapıları ve Şema Tasarımı ve oLTP Depolama: Cloud SQL, AlloyDB ve Spanner konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Google Cloud Kaynak Hiyerarşisi ve Konsol

Organization, Folder ve Project hiyerarşisinin politika ve fatura mirasına etkisi
Cloud Shell, gcloud CLI yapılandırmaları (gcloud config configurations) ve proje seçimi
API etkinleştirme, servis kotaları ve kota artış talepleri
Billing account bağlama, proje yaşam döngüsü ve silinen projeyi geri alma süreci
Bölge (region), zon ve multi-region kavramları ile veri konumu kararları
Etiket (label), network tag ve Resource Manager tag farkları

Modül 2

Cloud Storage Yönetimi

Standard, Nearline, Coldline ve Archive depolama sınıfları ile maliyet etkisi
Object lifecycle yönetimi, versioning ve retention policy / bucket lock
Uniform bucket-level access, ACL ve signed URL ile erişim kontrolü
gsutil ve gcloud storage ile paralel yükleme, rsync ve composite upload
Pub/Sub bildirimleri ve Eventarc ile nesne olaylarına tepki
Storage Transfer Service ve çok bölgeli (dual-region) bucket tasarımı

Modül 3

Veri Yapıları ve Şema Tasarımı

Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veri ayrımı
Normalizasyon ile denormalizasyon kararları ve OLTP / OLAP farkı
Bigtable, BigQuery ve Spanner için şema tasarım kalıpları
Veri türleri, NULL yönetimi ve ARRAY / STRUCT kullanımı
Erişim desenine göre anahtar ve bölüm seçimi
Şema evrimi ve geriye dönük uyumluluk

Modül 4

OLTP Depolama: Cloud SQL, AlloyDB ve Spanner

Cloud SQL (MySQL, PostgreSQL, SQL Server) yüksek erişilebilirlik ve okuma kopyaları
Otomatik yedekleme, point-in-time recovery ve bakım pencereleri
AlloyDB mimarisi, kolonar motor ve okuma havuzu
Cloud Spanner: global tutarlılık, TrueTime, interleaved tablo ve birincil anahtar tasarımı
Bağlantı yöntemleri: Cloud SQL Auth Proxy, private IP ve bağlantı havuzu
İş yüküne göre veritabanı seçim ölçütleri ve maliyet karşılaştırması

Günün hedefiKatılımcı, dataproc ile Hadoop ve Spark İşleme, dataflow ve Apache Beam ile Veri İşleme, cloud Composer ile İş Akışı Orkestrasyonu ve data Fusion, Dataprep ve Dataplex konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Dataproc ile Hadoop ve Spark İşleme

Dataproc küme mimarisi: master, worker ve preemptible/secondary worker düğümleri
Geçici (ephemeral) küme yaklaşımı ve Cloud Storage connector ile HDFS yerine GCS
Spark job gönderme, PySpark ve Spark SQL ile veri dönüşümü
Autoscaling politikaları ve initialization action ile özelleştirme
Dataproc Serverless for Spark ve Dataproc Metastore
Workflow template ile zincirli iş tanımı ve Hadoop iş yüklerinin GCP'ye taşınması

Modül 2

Dataflow ve Apache Beam ile Veri İşleme

Beam programlama modeli: Pipeline, PCollection, PTransform ve ParDo
GroupByKey, CombinePerKey, Side Input ve yan çıktılar (tagged outputs)
Windowing türleri: fixed, sliding, session ve global pencere
Event time, watermark, trigger ve geç gelen veri (allowed lateness) yönetimi
Dataflow Runner ile iş başlatma, autoscaling, Streaming Engine ve Shuffle servisi
Classic ve Flex Template ile yeniden kullanılabilir pipeline dağıtımı

Modül 3

Cloud Composer ile İş Akışı Orkestrasyonu

Apache Airflow DAG yapısı, task bağımlılıkları ve zamanlama (schedule)
BigQueryInsertJobOperator, DataflowTemplatedJobStartOperator gibi Google operatörleri
Sensör, XCom ve dinamik görev üretimi
Composer 2 ortam boyutlandırma, worker autoscaling ve ağ yapılandırması
Retry, SLA, backfill ve hata bildirimi stratejileri
DAG'lerin Cloud Storage üzerinden dağıtımı ve CI/CD ile test edilmesi

Modül 4

Data Fusion, Dataprep ve Dataplex

Cloud Data Fusion'da görsel pipeline tasarımı ve plugin yapısı
Wrangler ile veri temizleme ve dönüştürme adımları
Dataprep (Trifacta) ile hazırlık recipe'leri
Dataplex lake, zone ve asset kavramları ile veri yönetişimi
Veri kalitesi görevleri, lineage ve metadata yönetimi
Araç seçimi: kod gerektirmeyen ETL ile Dataflow / Dataproc karşılaştırması

Günün hedefiKatılımcı, pub/Sub ile Mesajlaşma, akış (Streaming) Mimari Desenleri, datastream ile Değişiklik Verisi Yakalama (CDC) ve bigQuery'ye Veri Yükleme ve Dış Kaynaklar konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

Pub/Sub ile Mesajlaşma

Topic, subscription ve mesaj yaşam döngüsü; at-least-once teslimat semantiği
Pull, push ve BigQuery / Cloud Storage subscription türleri
Ack deadline, yeniden deneme politikası ve dead-letter topic yapılandırması
Message ordering key ve exactly-once delivery kullanım koşulları
Şema (Avro/Protobuf) doğrulama ve mesaj saklama (retention) / seek ile tekrar oynatma
Pub/Sub Lite ve Kafka karşılaştırması, kota ve ölçeklenme

Modül 2

Akış (Streaming) Mimari Desenleri

Lambda ve Kappa mimarilerinin karşılaştırması ve GCP karşılıkları
Pub/Sub → Dataflow → BigQuery / Bigtable referans mimarisi
Exactly-once işleme, idempotent yazma ve tekilleştirme (dedup) teknikleri
Geç gelen veri, çok bölgeli yedeklilik ve replay stratejileri
Gerçek zamanlı kullanıcı etkinliği, IoT telemetri ve log analitiği kullanım senaryoları
Gecikme, verim (throughput) ve maliyet ödünleşimleri

Modül 3

Datastream ile Değişiklik Verisi Yakalama (CDC)

CDC kavramı, log tabanlı yakalama ve MySQL binlog / PostgreSQL logical decoding / Oracle LogMiner kaynakları
Datastream bağlantı profilleri, stream oluşturma ve kaynak yapılandırması
Backfill ve sürekli CDC akışı, nesne dahil etme/dışlama kuralları
Hedef olarak Cloud Storage (Avro/JSON) ve BigQuery ile yazma modları
Private connectivity, IP allowlist ve ters SSH tüneli ile güvenli bağlantı
Dataflow şablonları ile Datastream çıktısının BigQuery'de birleştirilmesi ve gecikme izleme

Modül 4

BigQuery'ye Veri Yükleme ve Dış Kaynaklar

Load job ile CSV, JSON, Avro, Parquet ve ORC dosyalarının yüklenmesi
Storage Write API ve eski streaming insert yöntemlerinin karşılaştırması
Harici tablolar (external table), BigLake tabloları ve Hive bölümlü veri
Federated query ile Cloud SQL, Spanner ve Bigtable kaynaklarına sorgu
BigQuery Data Transfer Service ile SaaS ve Cloud Storage zamanlanmış aktarımı
Şema otomatik algılama, şema evrimi ve hatalı kayıt yönetimi (max bad records)

Günün hedefiKatılımcı, bigQuery Mimarisi ve Temel Kavramlar, bigQuery Depolama Tasarımı: Bölümleme ve Kümeleme, bigQuery Sorgu Optimizasyonu ve Performans ve bigQuery ML ile Model Geliştirme konularını laboratuvar senaryolarında uygulayarak günün çıktısını kendi ortamında yeniden üretebilir.

Modül 1

BigQuery Mimarisi ve Temel Kavramlar

Dremel yürütme motoru, Colossus depolama ve Capacitor sütunlu format yapısı
Hesaplama ile depolamanın ayrılması ve slot kavramı
Dataset, table, view ve routine nesneleri ile proje/dataset/tablo adlandırması
On-demand fiyatlandırma ile BigQuery Editions (Standard, Enterprise, Enterprise Plus) farkı
bq CLI, Console ve istemci kütüphaneleri ile iş (job) çalıştırma
Sandbox kullanımı, ücretsiz katman limitleri ve kota yönetimi

Modül 2

BigQuery Depolama Tasarımı: Bölümleme ve Kümeleme

Zaman birimi (time-unit), ingestion-time ve tamsayı aralığı (integer range) bölümleme
Clustering sütunlarının seçimi ve sıralamanın taranan veri miktarına etkisi
Partition expiration, require partition filter ve tablo yaşam döngüsü
Denormalizasyon, iç içe/tekrarlı şemalar ve star schema karşılaştırması
Materialized view'ler ve otomatik yenileme davranışı
Time travel, tablo snapshot'ları ve table clone ile veri koruma

Modül 3

BigQuery Sorgu Optimizasyonu ve Performans

Query execution graph (sorgu planı) okuma ve aşama (stage) bazlı darboğaz analizi
SELECT * kaçınma, erken filtreleme ve JOIN sıralama teknikleri
Önbellek (cache) davranışı, dry run ve maximum bytes billed sınırı
APPROX_COUNT_DISTINCT gibi yaklaşık fonksiyonlar ve veri çarpıklığı (skew) yönetimi
BI Engine rezervasyonu, search index ve vector index kullanımı
INFORMATION_SCHEMA.JOBS ile pahalı sorguların bulunması

Modül 4

BigQuery ML ile Model Geliştirme

CREATE MODEL ile lineer/lojistik regresyon, k-means ve boosted tree modelleri
ML.EVALUATE, ML.PREDICT ve ML.EXPLAIN_PREDICT çıktılarının yorumlanması
Özellik mühendisliği için TRANSFORM ve ML.FEATURE_CROSS kullanımı
Hiperparametre ayarı ve eğitim/doğrulama veri bölme stratejileri
ARIMA_PLUS ile zaman serisi tahmini
Eğitilmiş modelin Vertex AI Model Registry'ye aktarılması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Kaynak Hiyerarşisi

Organization, Folder ve Project yapısını doğru kurgulayıp gcloud ile yönetebilirsiniz.

🔧

Şema Tasarımı

Erişim desenine göre veri depolarında şema ve anahtar tasarlayabilirsiniz.

📊

Dataproc ve Spark

Spark/Hadoop iş yüklerini geçici Dataproc kümeleriyle çalıştırabilirsiniz.

🔐

İş Akışı Orkestrasyonu

Composer'da Airflow DAG'leri ile veri işlerini zamanlayıp izleyebilirsiniz.

🚀

Pub/Sub Mesajlaşma

Pub/Sub topic ve subscription tasarımını güvenilir teslimat için yapılandırabilirsiniz.

🧩

Datastream CDC

Datastream ile ilişkisel veritabanlarından BigQuery'ye CDC akışı kurabilirsiniz.

📈

BigQuery Mimarisi

BigQuery'nin depolama-hesaplama ayrımını ve slot modelini açıklayabilirsiniz.

🛠️

Sorgu Optimizasyonu

Sorgu planını okuyup maliyet ve süreyi düşüren optimizasyonlar uygulayabilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
veri analistleri
ETL geliştiricileri
Google Cloud üzerinde veri platformu kuracak yazılımcılar için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, veri analistleri, ETL geliştiricileri ve Google Cloud üzerinde veri platformu kuracak yazılımcılar için uygundur.

Eğitime katılmak için hangi ön bilgi gerekir?

Temel SQL ve veri kavramları bilgisi önerilir; Beam ve Spark örnekleri için Python ya da Java okuyabilmek faydalıdır. Google Cloud ortamı laboratuvarda birlikte kurulur.

Data Engineering on Google Cloud (GC-DE) eğitiminde hangi konular işlenir?

1. gün Kaynak Hiyerarşisi ve Cloud Storage; 2. gün Dataproc ve Spark ve Dataflow ve Beam; 3. gün Pub/Sub Mesajlaşma ve Streaming Mimarisi; 4. gün BigQuery Mimarisi ve Depolama Tasarımı. Ayrıca BigQuery, Dataflow ve Pub/Sub uygulamalı çalışılır.

Eğitim sonunda sertifika veriliyor mu?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Eğitim nasıl yürütülür?

Eğitim 4 gündür ve her gün dört modülden oluşur. Anlatımlar Cloud Shell, BigQuery, Dataflow ve Dataproc laboratuvarları ile birleşir; katılımcılar komut, sorgu ve yapılandırmaları kendi ortamlarında çalıştırır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING ON GOOGLE CLOUD PLATFORM (GC-DE) EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Google Cloud Kaynak Hiyerarşisi ve Konsol

Cloud Storage Yönetimi

Veri Yapıları ve Şema Tasarımı

OLTP Depolama: Cloud SQL, AlloyDB ve Spanner

Dataproc ile Hadoop ve Spark İşleme

Dataflow ve Apache Beam ile Veri İşleme

Cloud Composer ile İş Akışı Orkestrasyonu

Data Fusion, Dataprep ve Dataplex

Pub/Sub ile Mesajlaşma

Akış (Streaming) Mimari Desenleri

Datastream ile Değişiklik Verisi Yakalama (CDC)

BigQuery'ye Veri Yükleme ve Dış Kaynaklar

BigQuery Mimarisi ve Temel Kavramlar

BigQuery Depolama Tasarımı: Bölümleme ve Kümeleme

BigQuery Sorgu Optimizasyonu ve Performans

BigQuery ML ile Model Geliştirme

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

GCP Data Engineer Pro: Creating a Pipeline of Services Eğitimi

GCP Data Engineer Pro: Data Migrations Eğitimi

GCP Data Engineer Pro: Dataset Processing Eğitimi

GCP Data Engineer Pro: Google Cloud OLTP Structured Data Storage Eğitimi

GCP Data Engineer Pro: Google Cloud Semi-structured Data Eğitimi