Airflow pipeline'larını TaskFlow API ile verimli kurun
TaskFlow API ve Airflow eğitiminde dekoratörlerle DAG yazımı, XCom, dinamik görev eşleme, branching, sensör ve deferrable operatörler, özel operatör, executor ayarları ve üretim testi uygulamalı işlenir.
TaskFlow API, XCom, dinamik eşleme, operatörler, sensörler ve pipeline optimizasyonu
Bu eğitim, Apache Airflow 2.x ile modern ve verimli veri hattı geliştirmeyi anlatır. Katılımcılar @dag ve @task dekoratörleri, TaskFlow API ile otomatik XCom, dinamik görev eşleme (expand), task group, branching, sensör ve deferrable operatörler, özel operatör yazımı, Datasets ile veri tabanlı tetikleme, pool ve paralellik ayarları ile test ve CI/CD konularını uygular.
3 Gün. Her gün dört modül; 1. gün TaskFlow API ve Modern DAG Tasarımı; 2. gün Gelişmiş Operatörler ve Sensörler; 3. gün Verimli Pipeline ve Üretim.
İleri Seviye — TaskFlow API, XCom, dinamik eşleme, operatörler, sensörler ve pipeline optimizasyonu
Her konu Docker Compose ile çalışan bir Airflow ortamında, klasik operatörlerle yazılmış DAG'ların TaskFlow API'ye dönüştürülmesiyle işlenir.
TaskFlow API ile boilerplate azalır, görevler arası veri aktarımı doğal Python olur.
Dinamik görev eşleme ile veri miktarına göre çalışma zamanında ölçeklenen görevler kurarsınız.
Deferrable operatör, pool ve paralellik ayarlarıyla kaynak kullanımı düşer.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Fonksiyon, dekoratör ve tür ipuçları konusunda rahat Python bilgisi gerekir.
DAG, task, operator ve scheduler kavramları bilinmelidir.
SQL ve temel ETL/ELT kavramlarına aşinalık beklenir.
Docker Compose ile servis ayağa kaldırabilmek gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
@dag ve @task ile temiz, tür ipuçlu DAG'lar yazabilirsiniz.
Veri aktarımını XCom sınırlarına ve özel backend'e göre tasarlayabilirsiniz.
expand ve partial ile çalışma zamanında görev üretebilirsiniz.
Branching, trigger rule ve TaskGroup ile koşullu akışlar kurabilirsiniz.
Sensörleri deferrable moda alıp worker kaynaklarından tasarruf edebilirsiniz.
Özel operatör ve hook geliştirip test edebilirsiniz.
Paralellik, pool ve executor ayarlarıyla Airflow verimini artırabilirsiniz.
DAG testlerini CI/CD hattına ekleyip izleme kurabilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
REST ile siteler arası bilgi alışverişi: HTTP, SOAP karşılaştırması, JSON/XML, CORS ve güvenlik. 2 gün uygulamalı eğitim, DVA Katılım ve Başarı Sertifikası.
Detayları Gör →
REST API mimarisi ve veritabanıyla dağıtım: tasarım, güvenlik, test, konteyner ve izleme. 3 gün uygulamalı eğitim, DVA Katılım ve Başarı Sertifikası.
Detayları Gör →
REST API temel özellikleri: HTTP, kaynaklar, CRUD, durum kodları ve JSON/XML formatları. 2 gün uygulamalı eğitim, DVA Katılım ve Başarı Sertifikası.
Detayları Gör →
REST API metotları ve formatter'ları: idempotency, PATCH, içerik pazarlığı, JSON/XML ve hipermedya. 2 gün uygulamalı eğitim, DVA Katılım ve Başarı Sertifikası.
Detayları Gör →
REST Assured ile API test otomasyonuna giriş: given/when/then, Hamcrest, JSON doğrulama ve raporlama. 2 gün uygulamalı eğitim, DVA Katılım ve Başarı Sertifikası
Detayları Gör →