Cloud Composer Orkestrasyon Eğitimi

Eğitim Hakkında

Airflow tabanlı Cloud Composer ile iş akışı orkestrasyonu uygulaması

Eğitim, Google Cloud Composer üzerinde Apache Airflow ile iş akışı orkestrasyonunu kapsar: Composer 2 ortam mimarisi, DAG yazımı ve zamanlama, operator ve sensor türleri, XCom, Variables ve Connections, BigQuery, Dataflow ve Dataproc operatörleri, Secret Manager entegrasyonu, hata yönetimi ve yeniden deneme, backfill, DAG testi, CI/CD ve izleme.

Süre ve Format

3 Gün. Her gün dört modül; 1. gün Airflow ve Composer Temelleri; 2. gün Operatörler ve GCP Entegrasyonu; 3. gün İşletim, Test ve Dağıtım.

Seviye

Orta Seviye — Cloud Composer ve Apache Airflow ile veri ve iş akışı orkestrasyonu

Öğrenme Metodu

Her gün Composer ortamında DAG yazma, çalıştırma ve hata ayıklama laboratuvarlarıyla ilerleyen uygulama odaklı eğitim.

Neden Bu Eğitim?

☁️Üretime Hazır DAG

Hata toleranslı, izlenebilir ve idempotent DAG yazım alışkanlığı edinirsiniz.

🛠️GCP Entegrasyonu

BigQuery, Dataflow ve Dataproc işlerini tek akışta yönetirsiniz.

🎯Otomasyon

DAG'ları test eder ve CI/CD ile dağıtırsınız.

Anahtar Konular

cloud composerapache airflow eğitimiairflow dagiş akışı orkestrasyonucomposer 2bigquery operatordataflow airflowairflow taskflowveri mühendisliği orkestrasyongcp composer

“İyi bir orkestrasyon, hatayı beklemez, tasarımında kapsar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python Bilgisi

Python fonksiyon, modül ve paket yönetimi bilgisi gerekir.

2

SQL Temeli

BigQuery için temel SQL bilgisi beklenir.

3

GCP Aşinalığı

Proje, IAM ve Cloud Storage kavramları bilinmelidir.

4

Hesap

Composer ortamı açılabilen bir Google Cloud projesi sağlanır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Composer ortamı kurup temel DAG'ları yazıp çalıştırabilir.

Modül 1

Composer Mimarisi

Composer 2 bileşenleri: scheduler, worker, triggerer, web server
GKE Autopilot tabanlı yapı
Ortam boyutları ve otomatik ölçekleme
Cloud Storage dags klasörü
Ortam oluşturma gcloud ile
Maliyet kalemleri

Modül 2

DAG Yazımı

DAG tanımı ve default_args
TaskFlow API ve dekoratörler
Bağımlılık operatörleri >> ve <<
Python ve Bash operatörleri
Dinamik DAG üretimi
Zaman damgası ve Jinja şablonları

Modül 3

Zamanlama

schedule_interval ve cron ifadeleri
Data interval ve logical date
catchup ve backfill
Dataset tabanlı tetikleme
Zaman dilimi yönetimi
max_active_runs ve havuzlar

Modül 4

Yürütme Modeli

Executor ve görev yaşam döngüsü
Task instance durumları
Retry, timeout ve SLA
Trigger rule
Pool ve öncelik
Hata ayıklama için log okuma

Günün hedefiKatılımcı BigQuery, Dataflow ve Dataproc işlerini DAG içinden çalıştırıp izleyebilir.

Modül 1

Operatör ve Sensor'lar

Provider paketleri
GCSObjectExistenceSensor
BigQueryInsertJobOperator
Deferrable operatörler
Özel operatör yazımı
Sensor modları: poke ve reschedule

Modül 2

Veri İşleme Servisleri

DataflowTemplatedJobStartOperator
Dataproc küme oluşturma ve iş gönderme
Cloud Storage aktarım operatörleri
Cloud Functions ve Cloud Run tetikleme
Pub/Sub sensor
Servis hesabı izinleri

Modül 3

Veri Aktarımı

XCom ve boyut sınırları
Variables ve Connections
Secret Manager backend
Jinja makroları
Idempotent görev tasarımı
Küçük metadata, büyük veri GCS prensibi

Modül 4

Dallanma ve Kontrol

BranchPythonOperator
TriggerDagRunOperator
ExternalTaskSensor
Task group ve SubDAG yerine TaskGroup
Dinamik task mapping
Koşullu yürütme

Günün hedefiKatılımcı DAG'ları test edip otomatik dağıtabilir ve Composer ortamını izleyip sorun giderebilir.

Modül 1

İzleme ve Uyarı

Airflow UI: Graph, Gantt, Grid
Cloud Monitoring metrikleri
Başarısızlık e-posta/Slack bildirimleri
SLA kaçırma uyarısı
Scheduler gecikmesi analizi
Log tabanlı alarm

Modül 2

Güvenlik ve Erişim

Composer servis hesabı
IAM rolleri
Özel IP ortam ve VPC ayarları
CMEK
Airflow RBAC
Gizli bilgi yönetimi

Modül 3

Test ve Kalite

DagBag ile import testleri
pytest ile görev birim testleri
airflow tasks test
Linting ve tip kontrolü
Veri kalite kontrolleri
Test ortamı stratejisi

Modül 4

CI/CD ve Bakım

Cloud Build ile DAG dağıtımı
Git akışı ve ortam ayrımı
Python bağımlılık yönetimi
Ortam yükseltmesi
Anahtar maliyet iyileştirmeleri
Sorun giderme: DAG görünmüyor, kuyrukta takılı görev

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Composer Kurulumu

Composer 2 ortamı oluşturup yapılandırabilirsiniz.

🧩

DAG Geliştirme

TaskFlow API ile okunabilir DAG'lar yazabilirsiniz.

🚀

Zamanlama

Data interval, catchup ve backfill davranışını yönetebilirsiniz.

🔍

GCP Entegrasyonu

BigQuery, Dataflow ve Dataproc işlerini orkestre edebilirsiniz.

🛡️

Veri Aktarımı

XCom, Variables ve Secret Manager'ı doğru kullanabilirsiniz.

📊

Test

DAG import ve görev birim testleri yazabilirsiniz.

🧪

CI/CD

Cloud Build ile DAG dağıtımını otomatikleştirebilirsiniz.

🏗️

Sorun Giderme

Scheduler ve worker loglarından sorunları tanılayabilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
ETL geliştiricileri
DevOps
bulut mühendisleri ile iş akışlarını otomatikleştirmek isteyen ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, ETL geliştiricileri, DevOps ve bulut mühendisleri ile iş akışlarını otomatikleştirmek isteyen ekipler için uygundur.

Composer ortamı maliyetli mi?

Composer ortamı sürekli çalışan kaynak kullanır; eğitimde küçük ortam ve zamanında silme yöntemi gösterilir. Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Airflow'u yerelde de kullanabilir miyim?

Evet, DAG geliştirme için yerel Airflow veya Docker ile çalışma yöntemi de gösterilir.

Hangi Airflow sürümü?

Composer 2 üzerindeki güncel Airflow 2.x sürümü kullanılır.

Python bilmek zorunlu mu?

Evet, DAG'lar Python ile yazıldığı için temel Python bilgisi gereklidir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

WORKFLOW ORCHESTRATION WITH CLOUD COMPOSER (WOCC) EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Composer Mimarisi

DAG Yazımı

Zamanlama

Yürütme Modeli

Operatör ve Sensor'lar

Veri İşleme Servisleri

Veri Aktarımı

Dallanma ve Kontrol

İzleme ve Uyarı

Güvenlik ve Erişim

Test ve Kalite

CI/CD ve Bakım

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

FortiNDR Cloud Analyst (NDR-CA) Eğitimi

Getting started with Confluence Cloud Eğitimi

Google Associate Cloud Engineer: Cloud Storage Eğitimi

Google Associate Cloud Engineer: Compute Options & Organization Policy Eğitimi

Google Associate Cloud Engineer: Data & Storage Management Eğitimi