Azure Data Flow Dönüşümleri Eğitimi

Eğitim Hakkında

Azure Data Factory mapping data flow dönüşüm tasarımı ve optimizasyonu

Eğitim, Azure Data Factory ve Synapse mapping data flow ile görsel olarak Spark tabanlı dönüşümler tasarlamayı öğretir. Source/Sink ayarları, Derived Column, Join, Lookup, Aggregate, Window, Pivot/Unpivot, Flatten, Conditional Split, Exists, Surrogate Key ve Alter Row dönüşümleri; SCD Type 1/2 deseni, şema kayması (schema drift), veri kalitesi ve partition optimizasyonu uygulamalı olarak işlenir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde mimari anlatım, Azure portal laboratuvarı ve kısa senaryo çalışması yer alır.

Seviye

Orta Seviye — Mapping data flow ile Spark tabanlı veri dönüşümlerini, SCD, birleştirme ve kalite kontrollerini kapsayan eğitim

Öğrenme Metodu

Debug küme üzerinde örnek satış ve müşteri veri setleriyle dönüşüm zincirleri kurulur ve çıktılar doğrulanır.

Neden Bu Eğitim?

🧩Görsel Tasarım

Kod yazmadan Spark üzerinde çalışan dönüşüm grafikleri oluşturursunuz.

♻️SCD Desenleri

Boyut tablolarında Type 1 ve Type 2 geçmiş takibini gerçek örnekle uygularsınız.

🚀Performans

Partition ve broadcast ayarlarıyla dönüşüm süresini ölçüp iyileştirirsiniz.

Anahtar Konular

mapping data flowazure data flowdata flow dönüşümleriSCD type 2azure data factoryspark dönüşümflatten json azurewindow transformationazure etlveri dönüştürme

“Doğru dönüşüm, veriye anlam katan en küçük değişikliktir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL bilgisi

T-SQL ile temel sorgu yazabilmek ve ilişkisel veri kavramlarını bilmek beklenir.

2

Azure temelleri

Kaynak grubu, depolama hesabı ve abonelik kavramlarına aşinalık gerekir.

3

Veri kavramları

ETL/ELT, veri ambarı ve veri gölü terimlerine genel hakimiyet faydalıdır.

4

Azure aboneliği

Laboratuvarlar için ücretsiz veya deneme Azure aboneliği kullanılır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı data flow akışı kurar ve kolon/satır seviyesinde temel dönüşümleri uygular.

Modül 1

Data Flow Altyapısı

Spark küme tabanlı çalışma modeli
Debug oturumu ve veri önizleme
Source seçenekleri: dataset, inline, sampling
Schema drift ve allow schema drift ayarı
Data flow parametreleri
Sink ayarları: update method, partitioning

Modül 2

Kolon Dönüşümleri

Derived Column ve ifade oluşturucu
Select ile yeniden adlandırma ve kural tabanlı eşleme
Cast ve tür dönüştürme
Tarih/zaman fonksiyonları ve string işlemleri
Null yönetimi iif, coalesce
Pattern matching ile toplu kolon işlemi

Modül 3

Satır Dönüşümleri

Filter ve Conditional Split
Sort ve Rank
Alter Row ile insert/update/delete/upsert işaretleme
Surrogate Key üretimi
Distinct ve Dedup (Aggregate first) deseni
Sample ve veri alt kümesi

Modül 4

Birleştirme Dönüşümleri

Join türleri: inner, left, full, cross
Lookup ve cached lookup
Exists dönüşümü
Union ile veri birleştirme
Broadcast join ayarları
Join anahtarı çoğaltma sorunları

Günün hedefiKatılımcı SCD Type 2 ve analitik dönüşümleri uygular, data flow performansını ayarlar.

Modül 1

Analitik Dönüşümler

Aggregate ve group by
Window dönüşümü: lag, lead, rank, cumulative
Pivot ve Unpivot
Rank ve Dense rank karşılaştırması
Running total hesaplama
Çok seviyeli özet tabloları

Modül 2

Hiyerarşik ve Yarı Yapılı Veri

JSON okuma ve Parse dönüşümü
Flatten ile dizi açma
Stringify ve Complex type kullanımı
Hiyerarşik JSON yazma
Nested kolonlara erişim
XML ve Avro kaynakları

Modül 3

SCD ve Veri Kalitesi

SCD Type 1 uygulama deseni
SCD Type 2: başlangıç/bitiş tarihi ve IsCurrent
Hash ile değişiklik tespiti
Assert dönüşümü ile veri kalitesi kuralları
Hatalı satırları ayrı sink'e yönlendirme
Delta Lake sink ile upsert

Modül 4

Performans ve Maliyet

Partition türleri: hash, round robin, key
Optimize sekmesi ve çıktı süresi analizi
Integration Runtime çekirdek sayısı ve TTL
Cache sink ve cache lookup
Pipeline içinde data flow zamanlaması
Maliyet izleme ve DIU/vCore hesabı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Dönüşüm zinciri

Source'tan sink'e uçtan uca data flow tasarlayabilirsiniz.

✅

İfade dili

Derived Column içinde data flow ifade dilini rahatça kullanabilirsiniz.

✅

Join yönetimi

Join, Lookup ve Exists dönüşümlerini doğru senaryoda seçebilirsiniz.

✅

Pencere fonksiyonları

Window ve Aggregate ile sıralama ve kümülatif metrikler hesaplayabilirsiniz.

✅

JSON işleme

Flatten ve Parse ile iç içe JSON veriyi tabloya dönüştürebilirsiniz.

✅

SCD Type 2

Geçmiş takibi yapan boyut tablosu yükleme akışı kurabilirsiniz.

✅

Veri kalitesi

Assert ve hatalı satır yönlendirmesiyle kalite kontrolü ekleyebilirsiniz.

✅

Performans ayarı

Partition ve TTL ayarlarıyla data flow süresini iyileştirebilirsiniz.

Kimler İçin Uygundur?

ETL geliştiricileri
veri mühendisleri
Spark kodu yazmadan ölçeklenebilir dönüşüm kurmak isteyen veri ambarı uzmanları için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

ETL geliştiricileri, veri mühendisleri ve Spark kodu yazmadan ölçeklenebilir dönüşüm kurmak isteyen veri ambarı uzmanları için uygundur.

Spark bilmem gerekir mi?

Hayır. Data flow Spark kodunu arka planda üretir; Spark temel kavramları kısaca anlatılır.

SCD Type 2 uygulanır mı?

Evet, hash ile değişiklik tespiti ve IsCurrent mantığıyla uçtan uca laboratuvar yapılır.

Synapse için de geçerli mi?

Evet, Synapse mapping data flow aynı dönüşüm mantığını kullanır.

Sertifika veriliyor mu?

Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING ON MICROSOFT AZURE: DATA FLOW TRANSFORMATIONS EĞİTİMİ