Cloud Digital Leader: Data Processing Pipelines

Eğitim Hakkında

Google Cloud veri işleme boru hatları: Pub/Sub, Dataflow, Dataproc, Data Fusion, Composer ve BigQuery ile uçtan uca akış

Eğitim, veri işleme boru hatlarının Google Cloud bileşenlerini iş ve mimari bakışıyla ele alır. Veri kaynakları ve alım yöntemleri, Pub/Sub ile mesajlaşma, Dataflow (Apache Beam) ile toplu ve akış dönüşümü, Dataproc ile Spark/Hadoop, Data Fusion ile görsel ETL, Dataform ve BigQuery ile ELT, Cloud Composer (Airflow) ile orkestrasyon, hata yönetimi ve yeniden deneme, veri kalitesi, izleme ve maliyet ile örnek uçtan uca boru hattı tasarımı yapılır.

Süre ve Format

2 Gün. Her gün dört modül; Google Cloud veri işleme boru hatları: Pub/Sub, Dataflow, Dataproc, Data Fusion, Composer ve BigQuery ile uçtan uca akış konuları anlatım, demo ve uygulamalı örneklerle işlenir.

Seviye

Temel Seviye — Google Cloud veri işleme boru hatları: Pub/Sub, Dataflow, Dataproc, Data Fusion, Composer ve BigQuery ile uçtan uca akış.

Öğrenme Metodu

Katılımcılar örnek bir sipariş verisi boru hattını kutulara ve oklara dökerek tasarlar; her halka için doğru Google Cloud hizmetini seçer ve demo ile akışı izler.

Neden Bu Eğitim?

🔄Uçtan uca bakış

Verinin kaynaktan rapora geçtiği tüm halkaları ve bağımlılıkları görürsünüz.

🧰Doğru araç

Dataflow, Dataproc ve Data Fusion arasında seçim kriterlerini öğrenirsiniz.

🛠️Güvenilir boru hattı

Hata yönetimi, izleme ve kalite kontrolünü tasarıma katarsınız.

Anahtar Konular

veri işleme boru hattıDataflowPub/SubCloud ComposerData FusionDataprocETL ELTApache BeamGoogle Cloud veriCloud Digital Leader

“İyi mimari, bugünün yükünü taşırken yarının değişimine yer bırakır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Ön bilgi

Teknik ön bilgi gerekmez; veri tabanı ve raporlama kavramlarına genel aşinalık yeterlidir.

2

Google Cloud erişimi

Uygulamalı çalışmalar için eğitmenin sağladığı lab projesi ya da bütçe uyarısı tanımlı bir Google Cloud hesabı (ücretsiz deneme dahil) gerekir.

3

Bilgisayar ortamı

Güncel bir tarayıcı, kararlı internet bağlantısı ve Cloud Shell kullanabileceğiniz bir dizüstü bilgisayar yeterlidir.

4

Ek hazırlık

Google Cloud dokümantasyonunda ilgili ürün sayfalarına göz atmak faydalıdır; zorunlu değildir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı veri alımı ve dönüşüm hizmetlerini boru hattı bağlamında seçer.

Modül 1

Boru Hattı Kavramları

Kaynak, alım, dönüşüm, depolama, tüketim
Toplu ve akış boru hatları
ETL, ELT ve lambda/kappa mimarileri
Şema, veri sözleşmesi ve evrim
Gecikme, hacim, çeşitlilik gereksinimi
Boru hattı tasarım ilkeleri

Modül 2

Veri Alımı

Cloud Storage, Transfer Service ve Datastream
Pub/Sub konu ve abonelik
Veritabanı CDC: Datastream
API ve dosya tabanlı alım
Hibrit kaynaklar ve bağlantı
Alım güvenliği ve kimlik

Modül 3

Dataflow ve Beam

PCollection, PTransform, pipeline kavramı
Toplu ve akış tek model
Pencereleme, filtre ve tetikleyici
Dataflow şablonları ve otomatik ölçek
Hata kuyruğu (dead letter)
Maliyet ve işlemci yönetimi

Modül 4

Dataproc ve Data Fusion

Dataproc kümeleri ve sunucusuz Spark
Hadoop modernizasyonu
Data Fusion görsel boru hattı
Hazır dönüşüm ve bağlayıcılar
CDAP tabanlı yapı
Dataflow ile karşılaştırma

Günün hedefiKatılımcı boru hattını orkestre eder, izler ve kalite kontrolleriyle güvenilir hale getirir.

Modül 1

BigQuery Hedefi ve ELT

Depolama ve yükleme seçenekleri
Storage Write API ve akış yükleme
Dataform ile SQL dönüşümü
Partition ve cluster mantığı
Veri modelleri: ham, hazırlanmış, sunum
Raporlama bağlantısı

Modül 2

Cloud Composer ve Workflows

Airflow DAG kavramı
Bağımlılık, zamanlama, yeniden deneme
Workflows ile hafif orkestrasyon
Cloud Scheduler tetikleme
Composer maliyet ve boyut
Orkestrasyon aracı seçimi

Modül 3

Veri Kalitesi ve Yönetişim

Dataplex kalite kuralları
Soy ağacı (lineage) ve katalog
Şema doğrulama ve anomali tespiti
Hassas veri koruma: DLP
Erişim ve rol ayrımı
Metrik: tazelik, bütünlük, doğruluk

Modül 4

İzleme ve Maliyet

Cloud Monitoring ile boru hattı metrikleri
Gecikme ve backlog alarmı
Hata analizi ve yeniden işleme
Maliyet etkenleri ve optimizasyon
Güvenilirlik: SLO'lar
Uçtan uca tasarım sunumu

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Boru hattı mantığı

Boru hattı bileşenlerini ve tasarım ilkelerini açıklarsınız.

✅

Veri alımı

Kaynak türüne uygun alım yöntemini seçersiniz.

✅

Dataflow

Dataflow'un yönetilen dönüşüm gücünü açıklarsınız.

✅

Araç seçimi

Dataproc ve Data Fusion için uygun senaryoları belirlersiniz.

✅

Hedef katman

Verinin BigQuery'de katmanlı organizasyonunu planlarsınız.

✅

Orkestrasyon

Boru hattı adımlarını zamanlama ve bağımlılıkla yönetirsiniz.

✅

Veri kalitesi

Kalite kontrollerini boru hattına yerleştirirsiniz.

✅

Boru hattı operasyonu

Boru hatlarını izler, hata ve maliyetini yönetirsiniz.

Kimler İçin Uygundur?

Veri projelerini yöneten yöneticiler
iş analistleri
mimari ekipler
Cloud Digital Leader adayları için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri projelerini yöneten yöneticiler, iş analistleri, mimari ekipler ve Cloud Digital Leader adayları için uygundur.

Eğitim kaç gün sürer ve nasıl işlenir?

Eğitim 2 gündür; her gün dört modül işlenir. Katılımcılar örnek bir sipariş verisi boru hattını kutulara ve oklara dökerek tasarlar; her halka için doğru Google Cloud hizmetini seçer ve demo ile akışı izler.

Eğitim sonunda sertifika verilir mi?

Eğitimi tamamlayanlara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Google Cloud Digital Leader sınavı ayrı bir sınavdır; sınav başvurusu ve ücreti ilgili kuruma aittir ve sınavı DVA vermez.

Başlamadan önce hangi bilgilere sahip olmalıyım?

Teknik ön bilgi gerekmez; veri tabanı ve raporlama kavramlarına genel aşinalık yeterlidir.

Boru hattı tasarımı uygulamalı mı?

Evet; örnek bir sipariş verisi için kaynak, alım, dönüşüm, depolama ve raporlama halkaları birlikte tasarlanır ve ilgili hizmetler demoyla gösterilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GOOGLE CLOUD DIGITAL LEADER: DATA PROCESSING PIPELINES EĞİTİMİ