DataOps İlkeleri Eğitimi

Eğitim Hakkında

DataOps ilkeleri: otomasyon, orkestrasyon, kalite ve gözlemlenebilirlik

Bu orta seviye eğitim, DevOps ilkelerinin veri alanına uygulanması olan DataOps'u ele alır. Veri hattı (data pipeline) kavramı ve ELT/ETL yaklaşımı; Apache Airflow ile orkestrasyon (DAG, operator, scheduler); veri kalitesi testleri ve doğrulama (Great Expectations benzeri yaklaşımlar); veri sürümleme ve şema evrimi; veri soy ağacı (lineage) ve kataloglama; CI/CD'nin veri hatlarına uyarlanması; veri gözlemlenebilirliği (freshness, volume, schema, distribution) ve uyarılar işlenir. Katılımcılar ham veriden güvenilir veri ürününe uzanan bir hattı otomasyon ve kalite kontrolleriyle kurar.

Süre ve Format

3 Gün. Her gün dört modül; katılımcılar veri hattını orkestrasyon, kalite, sürümleme ve gözlemlenebilirlik eksenlerinde kurar.

Seviye

Orta Seviye — DataOps ilkeleriyle veri hatlarının otomasyonu, orkestrasyonu, veri kalitesi, sürümleme ve gözlemlenebilirliğin ele alınması.

Öğrenme Metodu

Katılımcılar örnek bir veri hattını Airflow DAG'ları ve kalite testleriyle kurup gözlemlenebilirlik eklemeyi laboratuvar ortamında uygular.

Neden Bu Eğitim?

🔄Veri Otomasyonu

Veri hatlarını orkestrasyonla otomatikleştirip tekrarlanabilir kılarsınız.

✔️Veri Kalitesi

Otomatik kalite testleriyle bozuk veriyi hat içinde yakalarsınız.

🔍Gözlemlenebilirlik

Freshness ve şema izlemeyle veri sorunlarını erken tespit edersiniz.

Anahtar Konular

dataopsveri hattıapache airflowveri kalitesidata lineageveri gözlemlenebilirliğietl eltşema evrimici cd for datadata observability

“Veri, test edilmeden ve izlenmeden güvenilir olamaz; DataOps bu güveni otomatikleştirir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

Temel SQL sorgulama bilgisi faydalıdır.

2

Python

Temel Python bilgisi Airflow DAG'larını kavramayı kolaylaştırır.

3

Veri Temeli

Veri ambarı/veri gölü kavramlarına genel aşinalık beklenir.

4

Çalışma Ortamı

Python ve Docker çalıştırabilen bir bilgisayar gereklidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, DataOps ilkelerini kavrar ve veri hattını orkestrasyonla kurabilir.

Modül 1

DataOps İlkeleri

DevOps ilkelerinin veri alanına uyarlanması
Veri ürünü (data product) kavramı
Analitik geliştirme ve operasyonun birleşmesi
Veri hattının tekrarlanabilirliği
Sürekli teslimatın veriye uygulanması
Veri ekibi ve iş birimi işbirliği

Modül 2

Veri Hattı

ETL ve ELT yaklaşımlarının farkı
Kaynak, dönüşüm ve hedef katmanları
Batch ve streaming işleme ayrımı
Idempotent veri işleme
Geriye dönük işleme (backfill) kavramı
Hata ve yeniden deneme (retry) yönetimi

Modül 3

Airflow Orkestrasyon

DAG (yönlü çevrimsiz grafik) yapısı
Operator ve task kavramı
Scheduler ve zamanlanmış çalışma
Bağımlılık (dependency) tanımlama
XCom ile task'lar arası veri aktarımı
Sensor ile dış olay bekleme

Modül 4

Dönüşüm Katmanı

dbt benzeri dönüşüm yaklaşımı
SQL tabanlı modelleme
Staging ve mart katmanları
Artımlı (incremental) model mantığı
Dönüşümlerin sürüm kontrolü
Dönüşüm testlerinin tanımı

Günün hedefiKatılımcı, veri kalitesi testlerini ve veri/şema sürümlemesini uygulayabilir.

Modül 1

Veri Kalitesi Testleri

Beklenti (expectation) tabanlı doğrulama
Boşluk (null), benzersizlik ve aralık kontrolleri
Referans bütünlüğü kontrolleri
İş kuralı doğrulamaları
Testlerin hatta kapı olarak gömülmesi
Kalite sonuçlarının raporlanması

Modül 2

Şema Yönetimi

Şema evrimi (schema evolution) kavramı
Geriye/ileriye uyumluluk
Şema değişikliğinin tüketicilere etkisi
Şema kaydı (registry) kullanımı
Kırıcı (breaking) değişiklik yönetimi
Şema değişiminin sürümlenmesi

Modül 3

Veri Sürümleme

Veri ve kodun birlikte sürümlenmesi
Anlık görüntü (snapshot) yaklaşımı
Veri gölünde tablo formatları (time travel)
Yeniden üretilebilir (reproducible) analiz
Ortamlar arası veri tutarlılığı
Değişikliklerin izlenebilirliği

Modül 4

CI/CD for Data

Veri hattı kodunun sürüm kontrolü
Pull request ile dönüşüm gözden geçirme
Test ortamında hattın doğrulanması
Otomatik dağıtım (DAG deploy)
Ortam paritesi (dev/prod) sağlama
Dağıtım sonrası doğrulama

Günün hedefiKatılımcı, veri soy ağacını ve veri gözlemlenebilirliğini kurabilir.

Modül 1

Veri Soy Ağacı

Lineage (soy ağacı) kavramı
Sütun ve tablo düzeyinde köken takibi
Etki analizi (impact analysis)
Lineage'ın hata kök nedenine katkısı
Otomatik lineage çıkarımı
Lineage görselleştirme

Modül 2

Veri Kataloğu

Veri varlıklarının kataloglanması
Metadata ve etiketleme
Veri sahipliği (ownership) tanımı
Arama ve keşfedilebilirlik
Veri sözlüğü (glossary)
Erişim ve yönetişim ilişkisi

Modül 3

Veri Gözlemlenebilirliği

Freshness (tazelik) izleme
Volume (hacim) anomalileri
Schema (şema) değişim tespiti
Distribution (dağılım) kayması
Veri SLO tanımı
Anomali uyarıları (alerting)

Modül 4

Yönetişim ve İyileştirme

Veri gizliliği ve erişim denetimi
Uyum (GDPR/KVKK) gereksinimleri
Olay (incident) yönetiminin veriye uyarlanması
Kök neden analizi ve postmortem
Veri ekibi metrikleri
Hattın sürekli iyileştirilmesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

DataOps İlkeleri

DevOps ilkelerini veri alanına uyarlayıp veri ürünü düşünürsünüz.

✅

Orkestrasyon

Airflow DAG'larıyla veri hatlarını orkestre edersiniz.

✅

Veri Kalitesi

Beklenti tabanlı testlerle bozuk veriyi hat içinde yakalarsınız.

✅

Şema Yönetimi

Şema evrimini uyumluluk gözeterek yönetirsiniz.

✅

CI/CD for Data

Veri hattı kodunu sürümleyip otomatik dağıtırsınız.

✅

Lineage

Veri soy ağacıyla köken ve etki analizini yaparsınız.

✅

Gözlemlenebilirlik

Freshness, hacim ve şema izlemeyle veri SLO'ları kurarsınız.

✅

Yönetişim

Veri gizliliği ve uyum gereksinimlerini hatta yansıtırsınız.

Kimler İçin Uygundur?

Veri mühendisleri
analitik mühendisleri
DevOps mühendisleri
veri hatlarını güvenilir biçimde işletmek isteyen BT profesyonelleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, analitik mühendisleri, DevOps mühendisleri ve veri hatlarını güvenilir biçimde işletmek isteyen BT profesyonelleri için uygundur.

DataOps DevOps'tan nasıl ayrılır?

DataOps, DevOps ilkelerini veri hatlarına uyarlar; otomasyon ve CI/CD'ye ek olarak veri kalitesi, şema evrimi, lineage ve veri gözlemlenebilirliği gibi veriye özgü konuları içerir.

Airflow bilgisi gerekli mi?

Gerekli değildir; temel Python ve SQL yeterlidir. Airflow DAG, operator ve scheduler kavramları eğitim içinde uygulamalı ele alınır.

Veri gözlemlenebilirliği ne demek?

Verinin tazeliği, hacmi, şeması ve dağılımının izlenerek anomali ve kalite sorunlarının erken tespit edilmesidir; eğitimde SLO ve uyarılarla işlenir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DEVOPS PLATFORMS AND OPERATIONS: DATAOPS PRINCIPLES EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

DataOps İlkeleri

Veri Hattı

Airflow Orkestrasyon

Dönüşüm Katmanı

Veri Kalitesi Testleri

Şema Yönetimi

Veri Sürümleme

CI/CD for Data

Veri Soy Ağacı

Veri Kataloğu

Veri Gözlemlenebilirliği

Yönetişim ve İyileştirme

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Microsoft Azure Architect Design: Azure DevOps Planning Eğitimi

Microsoft Azure Architect Technologies: DevOps & Azure Eğitimi

Microsoft Azure DevOps Solutions: Branching Source Code Eğitimi

Microsoft Azure DevOps Solutions: CI Build Strategy Eğitimi

Microsoft Azure DevOps Solutions: Communication & Collaboration Eğitimi