Çerçevelerle İleri Veri Hattı Yönetimi

Eğitim Hakkında

Çerçeve tabanlı ileri veri yönetimi

Bu eğitim veri hatlarını olgun çerçeveler kullanarak profesyonel düzeye taşır. dbt ile ELT dönüşüm, model/katman mimarisi, test, dokümantasyon ve lineage; Airflow ile orkestrasyon ve dbt entegrasyonu işlenir. Great Expectations/Soda ile veri kalitesi, data contract ve gözlemlenebilirlik çerçeveleri ele alınır. Modüler ve yeniden kullanılabilir hat tasarımı, macro/paket kullanımı, incremental model, snapshot (SCD2), ortam yönetimi, CI/CD ve maliyet/performans optimizasyonu uygulamalı gösterilir.

Süre ve Format

4 Gün. Her gün dört modül; dbt, Airflow ve kalite çerçeveleri labler içerir.

Seviye

İleri Seviye — Çerçeve tabanlı veri hattı yönetimi: dbt, Airflow ve veri kalitesi/gözlem çerçevelerini kapsar.

Öğrenme Metodu

dbt modellerini Airflow ile orkestra edip kalite çerçeveleriyle güvenceye alarak öğrenilir.

Neden Bu Eğitim?

🧰Çerçeve Gücü

Tekerleği yeniden icat etmeden olgun araçlarla hat kurarsınız.

🧪Test Edilebilir

dbt test ve kalite çerçeveleriyle güveni gömülü kılarsınız.

🔗Entegrasyon

dbt, Airflow ve gözlem araçlarını tek akışta birleştirirsiniz.

Anahtar Konular

dbt eğitimiveri hattı çerçeveleriairflow dbtgreat expectationssoda veri kalitesianalitik mühendisliğidata contractdata observabilityci cd veri

“Olgun çerçeveler, veri hattını sanattan mühendisliğe taşır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL

Analitik SQL ve dönüşüm mantığı gerekir.

2

ETL/ELT

Veri hattı ve modelleme kavramlarına aşinalık beklenir.

3

Python

Airflow ve paket kullanımı için temel Python faydalıdır.

4

Lab Ortamı

dbt, bir ambar ve Airflow erişimi olan ortam gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı dbt ile katmanlı ELT modelleri tasarlayıp çalıştırabilir.

Modül 1

dbt Temeli

Project yapısı
source ve model
ref() ve bağımlılık
materialization türleri
profiles ve bağlantı
dbt run/build

Modül 2

Katman Mimarisi

staging/intermediate/marts
Adlandırma standardı
Modülerlik
Yeniden kullanım
Katman sözleşmesi
DRY dönüşüm

Modül 3

İleri Model

Incremental model
is_incremental() mantığı
Snapshot (SCD2)
Ephemeral model
Seed/referans veri
Materialized view (giriş)

Modül 4

Macro/Paket

Jinja ve macro
dbt_utils paketi
Paket yönetimi (packages.yml)
Custom generic test
Hook (pre/post)
Yeniden kullanılabilir mantık

Günün hedefiKatılımcı dbt test, dokümantasyon ve lineage ile güvenli modeller üretebilir.

Modül 1

dbt Test

generic test (unique/not_null)
relationships/accepted_values
singular test
dbt-expectations
severity ve eşik
test seçimi

Modül 2

Dokümantasyon

description ve meta
dbt docs generate
Lineage grafiği (DAG)
Expozisyon (exposure)
Katalog
Paydaş paylaşımı

Modül 3

Veri Sözleşmesi

Model contract
enforced şema
Breaking change tespiti
Versiyonlama
Üretici-tüketici
Onay akışı

Modül 4

Performans

Materialization seçimi
Incremental strateji
Bölümleme/clustering
Sorgu maliyeti
Model zamanlaması
Optimizasyon

Günün hedefiKatılımcı dbt hatlarını Airflow ile orkestra edip zamanlayabilir.

Modül 1

Airflow Temeli

DAG ve task
Zamanlama
Bağımlılık
retry/SLA
Connection/Variable
İzleme

Modül 2

dbt + Airflow

BashOperator ile dbt
Cosmos ile model-task
Seçmeli çalıştırma (state)
Artifact kullanımı
Bağımlılık çıkarımı
Hata yönetimi

Modül 3

Veri Odaklı

Datasets ile tetikleme
Kaynak freshness
Upstream bağımlılık
Backfill
Parametreleme
Yeniden işleme

Modül 4

Operasyon

Log ve metrik
Alert/bildirim
Ortam ayrımı
Paralellik/pool
Maliyet
İyi uygulamalar

Günün hedefiKatılımcı kalite/gözlem çerçeveleri ve CI/CD ile hattı üretime alabilir.

Modül 1

Veri Kalitesi

Great Expectations suite
Soda check
Beklenti tanımı
Karantina deseni
Kural kataloğu
Raporlama

Modül 2

Gözlemlenebilirlik

Freshness/volume izleme
Dağılım/şema sapması
Lineage tabanlı kök neden
SLA/SLO
Incident akışı
Dashboard

Modül 3

CI/CD

Git akışı
dbt slim CI
PR bazlı test
Ortam promosyonu
Dağıtım otomasyonu
Sürümleme

Modül 4

Yönetişim

Erişim/rol
Metadata yönetimi
Maliyet izleme
Dokümantasyon
Kod standardı
Gözden geçirme

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

dbt ELT

Katmanlı dbt modelleriyle test edilebilir ELT kurarsınız.

✅

İleri Model

Incremental model ve snapshot (SCD2) uygularsınız.

✅

Test/Doküman

dbt test, docs ve lineage ile güveni gömersiniz.

✅

Sözleşme

Model contract ile breaking change'leri yakalarsınız.

✅

Orkestrasyon

Airflow + dbt ile seçmeli ve veri-odaklı çalıştırma kurarsınız.

✅

Veri Kalitesi

Great Expectations/Soda ile kaliteyi çerçeveyle güvenceye alırsınız.

✅

Gözlemlenebilirlik

Freshness, sapma ve lineage ile hattı izlersiniz.

✅

CI/CD

Slim CI ve ortam promosyonuyla üretime alırsınız.

Kimler İçin Uygundur?

Veri hatlarını çerçevelerle ölçeklendiren analitik mühendisleri
veri mühendisleri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri hatlarını çerçevelerle ölçeklendiren analitik mühendisleri ve veri mühendisleri için uygundur.

dbt deneyimi gerekir mi?

Temel SQL yeterlidir; dbt temelden ileri modellere kadar uygulamalı işlenir.

Airflow ile dbt nasıl birleşir?

BashOperator ve Cosmos ile model-task eşleme, state tabanlı seçmeli çalıştırma gösterilir.

Veri kalitesi hangi araçlarla?

Great Expectations ve Soda ile beklenti tanımı ve karantina desenleri uygulanır.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA PIPELINE: USING FRAMEWORKS FOR ADVANCED DATA MANAGEMENT EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

dbt Temeli

Katman Mimarisi

İleri Model

Macro/Paket

dbt Test

Dokümantasyon

Veri Sözleşmesi

Performans

Airflow Temeli

dbt + Airflow

Veri Odaklı

Operasyon

Veri Kalitesi

Gözlemlenebilirlik

CI/CD

Yönetişim

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Continuous Data Pipelines and Dynamic Tables in Snowflake Eğitimi

Continuous Data: Ingesting Continuous Data in Snowflake Eğitimi

Data Analysis with Databricks Eğitimi

Data Engineering Getting Started Eğitimi

Data Engineering with Databricks Eğitimi