Databricks on Azure Hackathon (MDWDE)

Eğitim Hakkında

Azure Databricks ile modern veri ambarı kurma hackathonu

Hackathon formatındaki eğitim, takımların Azure üzerinde uçtan uca veri hattı kurmasını sağlar: ADLS Gen2 veri gölü, Azure Databricks çalışma alanı ve cluster, PySpark ve Spark SQL ile dönüşüm, Delta Lake ACID tabloları, medallion (bronze, silver, gold) mimarisi, Auto Loader ile artımlı yükleme, Structured Streaming, Data Factory orkestrasyonu, Synapse veya Databricks SQL ile sunum katmanı ve Power BI raporlama. Gün sonlarında takım sunumları yapılır.

Süre ve Format

3 Gün. Her gün dört modül; günlük konu başlıkları: Altyapı ve Veri Alımı (Bronze); Dönüşüm ve Modelleme (Silver / Gold); Sunum, Güvenlik ve Final. Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Seviye

İleri Seviye — Azure Databricks, Delta Lake, Data Factory ve Synapse ile modern veri ambarı hackathon uygulaması

Öğrenme Metodu

Takımlar gerçekçi bir veri setiyle çalışır; mentor desteğiyle her gün bir katman kurar ve son gün çalışan çözümü jüriye sunar.

Neden Bu Eğitim?

🏁Hackathon temposu

Zamana karşı çalışarak gerçek proje baskısında Azure veri araçlarını kullanacaksınız.

🧱Medallion mimarisi

Bronze, silver ve gold katmanlarıyla yönetilebilir veri ambarı tasarlayacaksınız.

🔁Uçtan uca hat

Veri alımından Power BI raporuna kadar tüm hattı birlikte kuracaksınız.

Anahtar Konular

Azure Databricks eğitimiDatabricks hackathonDelta Lakemedallion mimarisiAzure veri mühendisliğiPySparkAzure Data FactoryUnity CatalogStructured Streamingmodern veri ambarı

“Veri hattı, ancak çalışıp rapora ulaştığında değer üretir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Azure aboneliği

Uygulamalar için ücretsiz deneme ya da kurum aboneliği üzerinde kaynak oluşturabilecek bir hesap kullanılır.

2

SQL bilgisi

JOIN, GROUP BY ve pencere fonksiyonlarını kullanabilmek gerekir.

3

Python temelleri

DataFrame mantığını okuyabilecek düzeyde Python bilgisi yararlıdır.

4

Veri ambarı kavramları

Fact/dimension ve ETL/ELT kavramlarına aşinalık önerilir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiTakım Databricks ortamını kurup ham veriyi bronze katmana artımlı olarak alabilir.

Modül 1

Platform Kurulumu

ADLS Gen2 hiyerarşik ad alanı ve container yapısı
Databricks çalışma alanı, Unity Catalog ve metastore
Cluster türleri: all-purpose ve job cluster, otomatik sonlandırma
Mount yerine Unity Catalog external location
Key Vault destekli secret scope
Maliyet kontrolü: cluster policy

Modül 2

Spark ve DataFrame Temelleri

SparkSession, DataFrame ve lazy evaluation
Şema çıkarımı ve açık şema tanımı
select, filter, groupBy, join
Pencere (window) fonksiyonları
Spark SQL ile aynı sorgu
Partition ve shuffle kavramı

Modül 3

Veri Alımı

Auto Loader (cloudFiles) ile artımlı dosya alımı
Şema evrimi ve rescued data column
COPY INTO komutu
Data Factory ile kaynak sistemden alım
Bronze Delta tablosu tasarımı
Veri kalitesi için ilk kontroller

Modül 4

Delta Lake Temelleri

Delta tablo, transaction log ve ACID
MERGE INTO ile upsert
Time travel: VERSION AS OF ve RESTORE
OPTIMIZE ve Z-ORDER
VACUUM ve saklama
Delta ile Parquet farkı

Günün hedefiTakım silver ve gold katmanlarını kurup boru hattını orkestre edebilir.

Modül 1

Silver Katman

Tekilleştirme (dropDuplicates) ve null yönetimi
Tip dönüştürme ve standartlaştırma
SCD Tip 2 ile geçmiş tutma (MERGE)
Veri kalitesi kuralları: expectations / constraint
Change Data Feed ile değişiklik okuma
Silver tabloların bölümlendirilmesi

Modül 2

Gold Katman ve Veri Ambarı

Yıldız şema: fact ve dimension tabloları
Gold tablolarında toplulaştırma
Databricks SQL warehouse ile sunum
Synapse dedicated pool'a yükleme alternatifi
Materialized view ve cache
Sorgu performansı: partition, Z-order

Modül 3

Orkestrasyon

Databricks Workflows ile görev bağımlılıkları
Data Factory pipeline ve Databricks notebook activity
Parametreli notebook çalıştırma
Tetikleyiciler ve zamanlama
Hata yönetimi ve yeniden deneme
Delta Live Tables ile bildirimsel boru hattı

Modül 4

Akış Verisi

Structured Streaming temelleri
Event Hubs / Kafka kaynağı
Watermark ve pencereli toplulaştırma
Checkpoint ve tam-bir-kez semantiği
Stream-batch birleşimi
Akış çıktısını Delta'ya yazma

Günün hedefiTakım çalışan veri ambarı çözümünü güvenli ve raporlanabilir biçimde sunabilir.

Modül 1

Raporlama

Power BI ile Databricks SQL bağlantısı
DirectQuery ve Import modu
Ölçü (measure) ve ilişki modelleme
Pano tasarımı ve filtreler
Yenileme zamanlaması
Performans ve toplulaştırma

Modül 2

Yönetişim ve Güvenlik

Unity Catalog ile katalog, şema ve tablo izinleri
Satır filtresi ve sütun maskeleme
Veri soy ağacı (lineage)
Service principal ve OAuth
Denetim logları
KVKK açısından kişisel veri maskeleme

Modül 3

CI/CD ve Kod Yönetimi

Databricks Repos ve Git entegrasyonu
Asset Bundles / Terraform ile dağıtım
Test: pytest ve veri testleri
Ortam ayrımı: dev, test, prod
Parametre yönetimi
Dağıtım otomasyonu (GitHub Actions)

Modül 4

Final Sunumları

Takım demoları
Mimari kararların savunulması
Performans ve maliyet metrikleri
Jüri geri bildirimi
Alternatif tasarım tartışması
Sonraki adımlar ve öneriler

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Platform kurulumu

ADLS Gen2 ve Databricks ortamını güvenli biçimde kurabilirsiniz.

✅

Spark kullanımı

PySpark ve Spark SQL ile veri dönüşümleri yazabilirsiniz.

✅

Artımlı alım

Auto Loader ve COPY INTO ile veriyi bronze katmana alabilirsiniz.

✅

Delta Lake

MERGE, time travel ve OPTIMIZE ile Delta tablolarını yönetebilirsiniz.

✅

Medallion mimarisi

Bronze, silver ve gold katmanlarını tasarlayabilirsiniz.

✅

Orkestrasyon

Workflows ve Data Factory ile boru hatlarını zamanlayabilirsiniz.

✅

Akış verisi

Structured Streaming ile gerçek zamanlı veri işleyebilirsiniz.

✅

Yönetişim ve raporlama

Unity Catalog izinleri ve Power BI ile veriyi güvenle sunabilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
veri ambarı geliştiricileri
analitik platform ekipleri için uygundur; temel SQL ve Python bilgisi önerilir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, veri ambarı geliştiricileri ve analitik platform ekipleri için uygundur; temel SQL ve Python bilgisi önerilir.

Hackathon formatı nasıl işler?

Takımlar günlük hedeflerle bir katman kurar, mentor desteği alır ve son gün çalışan çözümü sunar.

Python bilmem şart mı?

Temel Python ve SQL bilgisi gerekir; SQL ağırlıklı ilerleyen takım üyeleri için Spark SQL yolu da vardır.

Azure maliyeti nasıl yönetilir?

Cluster policy, otomatik sonlandırma ve küçük cluster boyutlarıyla maliyet düşük tutulur.

Sertifika verilir mi?

Evet, Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

MODERN DATA WAREHOUSING / DATA ENGINEERING WITH DATABRICKS ON AZURE HACKATHON (MDWDE-HACK-AZURE) EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Platform Kurulumu

Spark ve DataFrame Temelleri

Veri Alımı

Delta Lake Temelleri

Silver Katman

Gold Katman ve Veri Ambarı

Orkestrasyon

Akış Verisi

Raporlama

Yönetişim ve Güvenlik

CI/CD ve Kod Yönetimi

Final Sunumları

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Microsoft Azure Infrastructure Solutions: Migrating to Azure Eğitimi

Microsoft Azure Infrastructure Solutions: Policy & Monitoring Eğitimi

Microsoft Azure Infrastructure Solutions: Protecting Data at Rest Eğitimi

Microsoft Azure Infrastructure Solutions: Virtual Networks Eğitimi

Microsoft Azure Infrastructure Solutions: VNet Peering & VPNs Eğitimi