Veri Gözlemlenebilirliği Eğitimi

Eğitim Hakkında

Veri gözlemlenebilirliği ve pipeline güvenilirliği

Bu eğitim, modern veri platformlarında veri gözlemlenebilirliğini ele alır. Veri downtime kavramı, gözlemlenebilirliğin beş sütunu (tazelik, dağılım, hacim, şema, lineage), veri kalitesi testleri (dbt tests, Great Expectations, Soda), şema değişikliği tespiti, kolon düzeyinde lineage, OpenLineage ve Marquez, Airflow pipeline izleme, anomali tespiti, veri SLA/SLO tanımı, olay yönetimi, veri sözleşmeleri ve Monte Carlo benzeri platformların rolü uygulamalı örneklerle işlenir.

Süre ve Format

2 Gün. Her gün dört modül; ilk gün sütunlar, kalite testleri ve şema/lineage, ikinci gün anomali, SLA ve olay yönetimi işlenir.

Seviye

Orta Seviye — Veri gözlemlenebilirliği: veri kalitesi, lineage, anomali tespiti, veri SLA'ları ve pipeline izleme.

Öğrenme Metodu

Katılımcılar örnek bir dbt ve Airflow pipeline'ına kalite testleri ekler, lineage çıkarır ve anomali alarmı tanımlar.

Neden Bu Eğitim?

🗄️Veri Güveni

Bozuk veriyi kullanıcılar fark etmeden önce yakalarsınız.

🕸️Lineage

Kolon düzeyinde kaynak ve etki analiziyle sorunun kökenini bulursunuz.

📐Veri SLA

Tazelik ve kalite hedeflerini ölçülebilir sözleşmelere bağlarsınız.

Anahtar Konular

veri gözlemlenebilirliğidata observabilityveri kalitesidata lineageopenlineagegreat expectationsdbt testsairflow izlemeveri sözleşmesianomali tespiti

“Veriye güven, hatayı kullanıcıdan önce bulmakla kazanılır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL

Orta düzey SQL sorguları yazabilmek gerekir.

2

Veri Hattı Kavramı

ETL/ELT ve veri ambarı temel bilgisi beklenir.

3

Python

Temel Python okuma bilgisi faydalıdır.

4

Orkestrasyon

Airflow veya benzeri bir aracı duymuş olmak yeterlidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı veri gözlemlenebilirliği sütunlarını ve kalite testlerini uygulayabilir.

Modül 1

Veri Downtime

Veri downtime tanımı
Sessiz veri hataları
İş etkisi
Yazılım gözlemlenebilirliği ile benzerlik
Sorumluluk dağılımı
Maliyet örnekleri

Modül 2

Beş Sütun

Tazelik (freshness)
Dağılım (distribution)
Hacim (volume)
Şema (schema)
Lineage
Sütunlar için örnek SQL

Modül 3

Kalite Testleri

dbt tests (unique, not_null, relationships)
Great Expectations beklentileri
Soda kontrolleri
Eşik ve kural tabanlı test
Test yerleşimi (kaynak, dönüşüm, çıktı)
Test sonuçlarını izleme

Modül 4

Şema ve Değişim

Şema kayması tespiti
Veri sözleşmesi
Kırıcı değişiklik
Sürümleme
Üretici-tüketici iş birliği
Otomatik bildirim

Günün hedefiKatılımcı lineage, anomali tespiti ve SLA ile veri güvenilirliğini yönetebilir.

Modül 1

Lineage

Tablo ve kolon lineage
OpenLineage standardı
Marquez kurulumu
Airflow-OpenLineage entegrasyonu
dbt lineage grafiği
Etki analizi

Modül 2

Pipeline İzleme

Airflow DAG metrikleri
Görev gecikmesi ve hatası
SLA miss
Yeniden deneme politikası
Bağımlılık gecikmesi
Maliyet izleme

Modül 3

Anomali Tespiti

İstatistiksel yöntemler (z-skor)
Mevsimsellik
Satır sayısı anomalisi
Dağılım kayması
ML tabanlı tespit
Yanlış pozitif yönetimi

Modül 4

Olay ve Yönetişim

Veri olayı müdahalesi
Kök neden analizi
Post-mortem
Veri sahibi ve katalog
Veri SLO'ları
Olgunluk yol haritası

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Veri Downtime

Sessiz veri hatalarının etkisini açıklarsınız.

✅

Beş Sütun

Tazelik, hacim, dağılım, şema ve lineage'ı ölçersiniz.

✅

Kalite Testleri

dbt ve Great Expectations ile testler yazarsınız.

✅

Şema İzleme

Şema kaymasını yakalayıp veri sözleşmesi tanımlarsınız.

✅

Lineage

OpenLineage ile kaynak ve etki analizi yaparsınız.

✅

Pipeline İzleme

Airflow görevlerini izleyip SLA ihlallerini yakalarsınız.

✅

Anomali

İstatistiksel anomali tespiti kurarsınız.

✅

Veri SLA

Veri SLO'larını ve olay sürecini tanımlarsınız.

Kimler İçin Uygundur?

Veri mühendisleri
analitik mühendisler
veri platformu sahipleri
veri güvenilirliğinden sorumlu ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, analitik mühendisler, veri platformu sahipleri ve veri güvenilirliğinden sorumlu ekipler için uygundur.

Belirli bir platform gerekir mi?

Hayır; ilkeler araçtan bağımsızdır, uygulamalar dbt, Great Expectations ve OpenLineage ile yapılır.

Veri ambarı gerekir mi?

Küçük bir laboratuvar veri tabanı eğitim ortamında sağlanır.

Yapay zekâ ile anomali tespiti işleniyor mu?

İstatistiksel yöntemler ağırlıklı, ML tabanlı tespit tanıtım düzeyinde işlenir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

EMERGING DATA TRENDS: UNLOCKING DATA OBSERVABILITY EĞİTİMİ