Airflow'u ölçekleyin ve hızlandırın
Executor seçimi, paralellik ayarları, pool/priority, dinamik task mapping, deferrable operatörler ve scheduler/parsing performansıyla Airflow iş akışlarını optimize edip ölçekleyen orta seviye eğitim.
Airflow iş akışlarının optimizasyonu ve ölçeklendirilmesi
Bu eğitim, Apache Airflow iş akışlarının performansını artırmayı ve ölçeklendirmeyi öğretir. Executor seçimi (LocalExecutor, CeleryExecutor, KubernetesExecutor) ve mimari etkileri, paralellik ayarları (parallelism, dag_concurrency, max_active_tasks, max_active_runs) işlenir. Pool ile kaynak sınırlama, priority_weight, queue yönlendirme, dinamik task mapping (expand/partial), TaskGroup ile düzen ve deferrable operatörlerle verimli bekleme ele alınır. DAG parsing süresi optimizasyonu, scheduler performansı, veritabanı yükü, SLA/retry stratejisi ve izleme (metrikler, log) uygulamalı gösterilir.
3 Gün. Her gün dört modül; executor, paralellik ve dinamik mapping ayar lableri.
Orta Seviye — Airflow iş akışlarını optimize etme ve ölçeklendirme; executor seçimi, paralellik, pool ve performans ayarını kapsar.
Çalışan bir Airflow kümesinde executor, pool ve paralellik ayarlarını değiştirip etkisini ölçerek uygulanır.
Paralellik ve executor ayarıyla iş akışı süresini belirgin kısaltırsınız.
Celery/Kubernetes executor ile yükü yatayda ölçeklersiniz.
Pool ve priority ile kaynakları iş yüküne göre adil dağıtırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
DAG, operatör ve zamanlama bilgisi gerekir.
Orta düzey Python bilgisi beklenir.
Çalışan bir Airflow kurulumu (tercihen Docker/K8s) gerekir.
CPU/bellek ve eşzamanlılık kavramına aşinalık faydalıdır.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
İş yüküne uygun executor seçip yapılandırırsınız.
parallelism ve max_active_* ayarlarını doğru belirlersiniz.
Queue ile görevleri izole worker'lara yönlendirirsiniz.
Pool ve priority_weight ile kaynakları adil dağıtırsınız.
expand/partial ile dinamik fan-out/fan-in kurarsınız.
Deferrable operatörlerle worker kaynağını korursunuz.
DAG parsing ve scheduler performansını optimize edersiniz.
Metriklerle darboğazları bulup kapasite planlarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
OLTP/OLAP, EDW katmanları, ETL süreçleri ve yıldız/kar tanesi boyutsal modelleme ile geleneksel veri ambarı mimarisi eğitimi.
Detayları Gör →
Streamlit in Snowflake ile Snowpark'tan veri çekip etkileşimli veri uygulaması geliştirme, cache, RBAC ve Snowflake içi dağıtım eğitimi.
Detayları Gör →
Snowflake Task graph (DAG), finalizer, serverless orkestrasyon, hata yönetimi ve gözlemlenebilirlikle ölçeklenebilir pipeline mimarisi eğitimi.
Detayları Gör →
Kimball, Inmon, Data Vault 2.0 ve lakehouse ile boyutsal modelleme, SCD, fact türleri ve modern DWH mimari tasarımı eğitimi.
Detayları Gör →
Make (Integromat) ile senaryo, modül, router, iterator/aggregator, webhook ve HTTP modülüyle kodsuz veri entegrasyonu eğitimi.
Detayları Gör →