Azure Databricks & Data Pipelines Eğitimi

Eğitim Hakkında

Databricks'te batch ve akış veri hatlarının tasarımı ve işletimi

Bu eğitim, Azure Databricks üzerinde veri hattı geliştirmeyi uçtan uca öğretir. Çalışma alanı, küme ve SQL warehouse, PySpark DataFrame ve Spark SQL, Delta Lake (ACID, MERGE, time travel, OPTIMIZE), Auto Loader ile artımlı alım, Structured Streaming, Delta Live Tables ve Databricks Workflows ile orkestrasyon işlenir. Unity Catalog ile yönetişim, ADLS Gen2 bağlantısı, Data Factory ile tetikleme, Git entegrasyonu, test ve izleme, küme maliyet yönetimi uygulamalı gösterilir.

Süre ve Format

3 Gün. Her gün dört modül; Çalışma alanı, DataFrame ve Delta tabloları; Auto Loader, Structured Streaming ve Delta Live Tables; Workflows, Data Factory, Unity Catalog ve CI/CD. Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Seviye

Orta Seviye — Azure Databricks ile Spark, Delta Lake, yapılandırılmış akış, Workflows ve Data Factory entegrasyonlu veri hatları geliştirmeyi kapsar.

Öğrenme Metodu

Databricks çalışma alanında not defterleri ve Workflows ile bronze-silver-gold hattı kurulur; Data Factory ile tetikleme ve Unity Catalog ile yetkilendirme uygulanır.

Neden Bu Eğitim?

🎯Spark ustalığı

PySpark ile büyük veriyi dönüştürüp Delta tablolara yazarsınız.

🛠️Otomasyon

Workflows ve Data Factory ile hatları zamanlayıp izlersiniz.

📈Yönetişim

Unity Catalog ile tablo ve izin yönetimi yaparsınız.

Anahtar Konular

azure databricks eğitimidatabricks data pipelinespysparkdelta lakeauto loaderdelta live tablesstructured streamingunity catalogdatabricks workflowsveri mühendisliği azure

“Güvenilir hat, tekrar çalıştırıldığında aynı sonucu verendir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Azure aboneliği

Uygulamalar ücretsiz Azure hesabı veya sağlanan sandbox aboneliği üzerinde yapılır.

2

Python/SQL

Temel Python ve SQL bilgisi gereklidir.

3

Veri kavramları

ETL ve veri gölü kavramlarına genel aşinalık faydalıdır.

4

Tarayıcı ve internet

Azure Portal ve Cloud Shell erişimi için güncel bir tarayıcı ve kararlı bağlantı yeterlidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Databricks'te veriyi dönüştürür ve Delta tablolarda yönetir.

Modül 1

Çalışma Alanı ve Küme

Databricks çalışma alanı ve dizin yapısı
All-purpose ve job kümeleri
Küme boyutu, otomatik sonlandırma, havuzlar
SQL warehouse kullanımı
Runtime sürümleri ve kütüphaneler
Maliyet ve DBU kavramı

Modül 2

PySpark DataFrame

spark.read ile CSV/Parquet/JSON okuma
select, filter, withColumn
groupBy ve agg
join türleri ve broadcast
Pencere fonksiyonları
UDF ve yerleşik fonksiyon seçimi

Modül 3

Delta Lake

Delta tablo oluşturma
ACID ve işlem günlüğü
MERGE INTO ile upsert
Time travel ve RESTORE
OPTIMIZE, Z-ORDER, VACUUM
Şema uygulama ve evrim

Modül 4

Lab: İlk Hat

ADLS'den ham veri okuma
Temizleme ve tür dönüşümü
Delta tabloya yazma
MERGE ile günlük güncelleme
Time travel ile geri dönme
Küme maliyeti kontrolü

Günün hedefiKatılımcı artımlı ve akış hatları kurar.

Modül 1

Auto Loader

cloudFiles kaynağı
Şema çıkarımı ve evrimi
Dosya bildirimi ve dizin listeleme modu
Checkpoint ve exactly-once
Bozuk kayıt (rescued data)
Bronze katmana artımlı alım

Modül 2

Structured Streaming

readStream ve writeStream
Trigger türleri
Watermark ve pencere
Event Hubs/Kafka kaynağı
foreachBatch ile özel yazma
Akış ve batch birleşimi

Modül 3

Delta Live Tables

Bildirimsel pipeline yaklaşımı
@dlt.table ve expectations
Veri kalitesi kuralları
Akış ve materialized view
Pipeline modu: triggered, continuous
DLT izleme ve olay günlüğü

Modül 4

Lab: Akış Hattı

Auto Loader ile dosya alımı
Event Hubs'tan akış okuma
Watermark'lı toplulaştırma
DLT ile silver katmanı
Kalite ihlali izleme
Hat testi

Günün hedefiKatılımcı hatları zamanlar, yönetir ve sürüm kontrolüne alır.

Modül 1

Orkestrasyon

Databricks Workflows ve görev bağımlılıkları
Zamanlama ve tetikleyici
Parametreler ve görev değerleri
Yeniden deneme ve uyarı
Data Factory ile Databricks etkinliği
Hat içi hata yönetimi

Modül 2

Unity Catalog

Metastore, katalog, şema, tablo hiyerarşisi
GRANT ile izin yönetimi
Harici konum ve depolama kimlik bilgisi
Satır filtresi ve sütun maskesi
Veri soy ağacı
Denetim günlükleri

Modül 3

Test ve CI/CD

Git klasörleri (Repos) entegrasyonu
Birim test: pytest ve chispa
Databricks Asset Bundles
Ortam yapılandırması
Azure DevOps/GitHub Actions ile dağıtım
Kod gözden geçirme

Modül 4

Performans ve Maliyet

Spark UI ile darboğaz analizi
Veri kayması (skew) ve shuffle
Adaptif sorgu yürütme
Photon motoru
Küme politikaları
Maliyet izleme ve etiketleme

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

DataFrame işleme

PySpark ile dönüşüm ve toplulaştırma yapabilirsiniz.

✅

Delta Lake

MERGE, time travel ve OPTIMIZE kullanabilirsiniz.

✅

Artımlı alım

Auto Loader ile yeni dosyaları otomatik işleyebilirsiniz.

✅

Akış işleme

Structured Streaming ile watermark'lı akış hattı kurabilirsiniz.

✅

Delta Live Tables

DLT ile kalite kurallı bildirimsel hat yazabilirsiniz.

✅

Orkestrasyon

Workflows ve Data Factory ile hatları zamanlayabilirsiniz.

✅

Unity Catalog

Tablo düzeyinde izin ve maskeleme uygulayabilirsiniz.

✅

Performans

Spark UI ile darboğazı bulup küme maliyetini düşürebilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
Spark bilen analistler
Python geliştiricileri
veri hattı kuran ekipler

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, Spark bilen analistler, Python geliştiricileri ve veri hattı kuran ekipler.

Python bilmek şart mı?

Temel Python ve SQL bilgisi gereklidir; PySpark söz dizimi eğitimde öğretilir.

Databricks ile Synapse Spark farkı nedir?

Databricks Delta, Unity Catalog ve DLT gibi ek özellikler sunar; karşılaştırma yapılır.

Maliyet nasıl kontrol edilir?

Otomatik sonlandırma, küme politikaları ve spot düğümler gösterilir.

Sınav ve sertifika konusu nasıl işleniyor?

Microsoft Azure Data Engineer konularıyla örtüşen içerik işlenir; sınav başvurusu ve ücreti ilgili kuruma aittir. Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

AZURE DATABRICKS & DATA PIPELINES EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Çalışma Alanı ve Küme

PySpark DataFrame

Delta Lake

Lab: İlk Hat

Auto Loader

Structured Streaming

Delta Live Tables

Lab: Akış Hattı

Orkestrasyon

Unity Catalog

Test ve CI/CD

Performans ve Maliyet

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Azure Data Fundamentals: Azure Data Factory Eğitimi

Azure Data Fundamentals: Azure Data Lake Storage Eğitimi

Azure Data Fundamentals: Azure Data Storage Eğitimi

Azure Data Fundamentals: Azure File Shares Eğitimi

Azure Data Fundamentals: Azure File Storage Eğitimi