Azure Databricks Veri Mühendisliği Eğitimi

Eğitim Hakkında

Azure Databricks Çalışma Alanı ve Mimari, Apache Spark ve PySpark ile Veri Dönüşümü ve Delta Lake ile Güvenilir Veri Gölü ekseninde uygulamalı Azure eğitimi

Azure Databricks çalışma alanı, PySpark/Spark SQL dönüşümleri, Delta Lake ile güvenilir tablolar, Auto Loader ile artımlı alım, Workflows ve Unity Catalog yönetişimini uygulamalı olarak ele alan programdır. Program süresince Azure Databricks Çalışma Alanı ve Mimari, Apache Spark ve PySpark ile Veri Dönüşümü, Delta Lake ile Güvenilir Veri Gölü, Veri Gölü Depolama Entegrasyonu, Veri Alımı ve Akış İşleme, İş Akışı Orkestrasyonu ve CI/CD gibi başlıklar laboratuvarlarla işlenir.

Süre ve Format

3 Gün. Her gün dört modül; her modülde altı konu başlığı, demo, uygulamalı Azure laboratuvarı ve soru-cevap.

Seviye

Orta Seviye — Azure Databricks Çalışma Alanı ve Mimari, Apache Spark ve PySpark ile Veri Dönüşümü ve Delta Lake ile Güvenilir Veri Gölü başlıklarını kapsayan Azure eğitimi

Öğrenme Metodu

Her modül kısa bir teknik anlatım, ardından Azure Portal, CLI ve gerçek kaynaklar üzerinde yönlendirmeli laboratuvar uygulamasıyla ilerler; Azure Databricks Veri Mühendisliği senaryoları sorun giderme alıştırmalarıyla pekiştirilir.

Neden Bu Eğitim?

🧪Uygulamalı Laboratuvar

Azure Databricks Çalışma Alanı ve Mimari ve Apache Spark ve PySpark ile Veri Dönüşümü gibi konular gerçek Azure kaynakları üzerinde adım adım uygulanır.

🎯Konuya Özgü İçerik

Azure Databricks Veri Mühendisliği kapsamında Delta Lake ile Güvenilir Veri Gölü ve Uçtan Uca Databricks Uygulama Laboratuvarı başlıkları doğrudan iş senaryolarıyla işlenir.

🚀Sahada Uygulanabilirlik

Eğitimdeki yapılandırma örnekleri ve kontrol listeleri kurumunuzdaki Azure ortamına taşınabilir.

Anahtar Konular

Azure DatabricksPySparkDelta LakeAuto LoaderUnity CatalogDatabricks eğitimiSpark SQLveri mühendisliğiAzure Databricks Veri Mühendisliği eğitimiDigital Vizyon Akademi Azure

“Büyük veri, düzenli işlenirse büyük avantajdır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

Temel SQL sorguları yazabilmek yeterlidir.

2

Laboratuvar Ortamı

Tarayıcı ve internet bağlantısı olan bir bilgisayar yeterlidir; Azure aboneliği/sandbox sağlanır.

3

Komut Satırı

Azure CLI veya PowerShell komutlarını okuyabilmek avantaj sağlar.

4

Bulut Kavramları

IaaS, PaaS ve bölge/zone kavramlarına temel hakimiyet beklenir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı gün sonunda Azure Databricks Çalışma Alanı ve Mimari ve Apache Spark ve PySpark ile Veri Dönüşümü konularını uygulamalı laboratuvarda kullanabilir; Delta Lake ile Güvenilir Veri Gölü ve Veri Gölü Depolama Entegrasyonu başlıklarını çalışan bir çözümle ilişkilendirir.

Modül 1

Azure Databricks Çalışma Alanı ve Mimari

Azure Databricks kontrol düzlemi (control plane) ve işlem düzlemi (compute plane) mimarisi
Workspace dağıtımı, VNet injection ve Secure Cluster Connectivity
All-purpose, job cluster ve SQL warehouse işlem türleri
Notebook, repo (Git folder) ve widget kullanımı
Databricks Runtime sürümleri ve Photon motoru
Cluster policy ile maliyet ve güvenlik sınırlarının tanımlanması

Modül 2

Apache Spark ve PySpark ile Veri Dönüşümü

DataFrame API: select, filter, withColumn, groupBy ve agg
Join stratejileri (broadcast, sort-merge) ve veri çarpıklığı (skew)
Window fonksiyonları ve karmaşık veri tipleri (array, struct, map)
Spark SQL ve temp view kullanımı
Lazy evaluation, stage, task ve shuffle kavramları
Adaptive Query Execution, partition ve cache ayarları

Modül 3

Delta Lake ile Güvenilir Veri Gölü

Delta Lake transaction log ve ACID garantileri
Managed ve external tablolar, CREATE TABLE ... USING DELTA
MERGE INTO ile upsert ve SCD Type 2 yaklaşımı
Time travel (VERSION AS OF), RESTORE ve DESCRIBE HISTORY
OPTIMIZE, Z-ORDER, liquid clustering ve VACUUM
Schema enforcement/evolution, constraint ve Change Data Feed

Modül 4

Veri Gölü Depolama Entegrasyonu

ADLS Gen2 hiyerarşik ad alanı ve POSIX ACL
Access Connector for Azure Databricks ve yönetilen kimlik
Unity Catalog storage credential ve external location
Volumes ile yapılandırılmamış dosya erişimi
DBFS mount'tan Unity Catalog'a geçiş
Dosya düzeni ve bölümleme stratejisi (partitioning)

Günün hedefiKatılımcı gün sonunda Veri Alımı ve Akış İşleme ve İş Akışı Orkestrasyonu ve CI/CD konularını uygulamalı laboratuvarda kullanabilir; Unity Catalog, Güvenlik ve Performans ve Performans Ayarı ve Maliyet Optimizasyonu başlıklarını çalışan bir çözümle ilişkilendirir.

Modül 1

Veri Alımı ve Akış İşleme

Auto Loader (cloudFiles) ile artımlı dosya alımı
COPY INTO ve Azure Data Lake Storage Gen2 bağlantıları
Structured Streaming: trigger, watermark ve checkpoint
Event Hubs / Kafka kaynaklı akış okuma
Medallion mimarisi: Bronze, Silver ve Gold katmanları
Lakeflow Declarative Pipelines (Delta Live Tables) ve expectations ile veri kalitesi

Modül 2

İş Akışı Orkestrasyonu ve CI/CD

Databricks Workflows: job, task bağımlılıkları ve parametreler
Zamanlama, yeniden deneme ve uyarı yapılandırması
Azure Data Factory'den Databricks notebook tetikleme
Databricks Asset Bundles ile kod olarak dağıtım
Azure DevOps ve GitHub Actions ile CI/CD hattı
Pytest ile birim test ve ortam ayrımı (dev/test/prod)

Modül 3

Unity Catalog, Güvenlik ve Performans

Unity Catalog metastore, catalog > schema > table hiyerarşisi
GRANT/REVOKE ile ayrıcalık yönetimi ve Entra ID grup senkronizasyonu
Row filter ve column mask ile ayrıntılı erişim denetimi
Veri soyağacı (lineage) ve denetim günlükleri
Azure Key Vault destekli secret scope kullanımı
Spark UI ile darboğaz analizi ve maliyet optimizasyonu

Modül 4

Performans Ayarı ve Maliyet Optimizasyonu

Spark UI: stage, task süresi ve shuffle okuma/yazma analizi
Veri çarpıklığı (skew) tespiti ve salting
Küçük dosya sorunu, OPTIMIZE ve auto compaction
Photon, caching ve disk cache
Cluster boyutlandırma, autoscale ve spot instance
System tables ile kullanım ve maliyet izleme

Günün hedefiKatılımcı gün sonunda Azure Analitik Hizmetleri ve Databricks SQL ve BI Tüketimi konularını uygulamalı laboratuvarda kullanabilir; Gerçek Zamanlı Veri İşleme ve Uçtan Uca Databricks Uygulama Laboratuvarı başlıklarını çalışan bir çözümle ilişkilendirir.

Modül 1

Azure Analitik Hizmetleri

Modern veri ambarı mimarisi: ingest, store, process, serve
Azure Synapse Analytics: dedicated SQL pool, serverless SQL pool ve Spark pool
Azure Data Factory pipeline, activity, dataset ve linked service nesneleri
ETL ve ELT yaklaşımları, Mapping Data Flow
Azure Databricks, Microsoft Fabric ve Stream Analytics konumlandırması
Event Hubs ile gerçek zamanlı veri alımı ve Power BI ile raporlama

Modül 2

Databricks SQL ve BI Tüketimi

SQL warehouse türleri (Serverless, Pro, Classic) ve boyutlandırma
Databricks SQL editör, sorgu geçmişi ve alert
Lakeview dashboard'lar
Power BI DirectQuery/Import ve Databricks bağlantısı
Gold katmanı modelleme: yıldız şema ve ölçüler
Sorgu önbelleği ve yetkilendirme

Modül 3

Gerçek Zamanlı Veri İşleme

Event Hubs, IoT Hub ve Kafka uyumlu uç noktalarla olay alımı
Azure Stream Analytics sorgusu: giriş, çıkış ve SQL benzeri dönüşüm
Tumbling, hopping, sliding ve session pencere işlevleri
Spark Structured Streaming ile Azure Databricks / Synapse'te akış işleme
Hot path – cold path (Lambda) ve Kappa mimarileri
Çıktı hedefleri: Power BI, Cosmos DB, Data Lake ve SQL

Modül 4

Uçtan Uca Databricks Uygulama Laboratuvarı

Ham verinin Auto Loader ile Bronze katmana alınması
Silver katmanda temizleme, tekilleştirme ve MERGE
Gold katmanda toplulaştırılmış veri ürünleri
Job olarak zamanlama ve uyarı
Unity Catalog ile erişim kısıtlama
Hata ayıklama ve performans karşılaştırması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Databricks Ortamı

Databricks çalışma alanını güvenli ağ ve doğru işlem türleriyle kurgulayabilirsiniz.

🔧

Spark Dönüşümleri

PySpark ve Spark SQL ile büyük veri kümelerini dönüştürüp birleştirebilirsiniz.

☁️

Göl Depolama

ADLS Gen2'yi Unity Catalog external location ile güvenli biçimde bağlayabilirsiniz.

🔐

Veri Alımı

Batch ve streaming kaynaklardan Bronze-Silver-Gold hattı oluşturabilirsiniz.

📊

Veri Yönetişimi

Unity Catalog ile merkezi yetkilendirme, maskeleme ve soyağacı izlemeyi uygulayabilirsiniz.

🧩

Spark Performansı

Spark UI ile darboğazları bulup küme ve tablo ayarlarıyla süreleri düşürebilirsiniz.

🚀

SQL ve BI

Gold katmanı verisini SQL warehouse ve Power BI üzerinden raporlayabilirsiniz.

🛠️

Akış Verisi

Gerçek zamanlı veri akışları için doğru Azure hizmetini seçebilirsiniz.

Kimler İçin Uygundur?

Veri analistleri
ETL geliştiricileri
Spark'a geçmek isteyen veri mühendisleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri analistleri, ETL geliştiricileri ve Spark'a geçmek isteyen veri mühendisleri için uygundur.

Eğitimde hangi konular işlenir?

3 günlük programda Azure Databricks Çalışma Alanı ve Mimari, Apache Spark ve PySpark ile Veri Dönüşümü, Delta Lake ile Güvenilir Veri Gölü, Veri Gölü Depolama Entegrasyonu, Veri Alımı ve Akış İşleme, İş Akışı Orkestrasyonu ve CI/CD gibi başlıklar yer alır; her gün dört modül ve her modülde altı konu başlığı işlenir.

Ön koşul gerekiyor mu?

Temel SQL sorguları yazabilmek yeterlidir. Ayrıntılar ön koşullar bölümünde yer alır.

Eğitim uygulamalı mı?

Evet, Azure Databricks Veri Mühendisliği konuları Azure portalı, CLI ve gerçek kaynaklar üzerinde laboratuvar çalışmalarıyla işlenir; laboratuvar ortamı eğitimde sağlanır.

Sertifika verilir mi?

Başarıyla tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

IMPLEMENT DATA ENGINEERING SOLUTIONS USING AZURE DATABRICKS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Azure Databricks Çalışma Alanı ve Mimari

Apache Spark ve PySpark ile Veri Dönüşümü

Delta Lake ile Güvenilir Veri Gölü

Veri Gölü Depolama Entegrasyonu

Veri Alımı ve Akış İşleme

İş Akışı Orkestrasyonu ve CI/CD

Unity Catalog, Güvenlik ve Performans

Performans Ayarı ve Maliyet Optimizasyonu

Azure Analitik Hizmetleri

Databricks SQL ve BI Tüketimi

Gerçek Zamanlı Veri İşleme

Uçtan Uca Databricks Uygulama Laboratuvarı

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Azure Developer: File Storage Solutions Eğitimi

Azure Developer: Implementing Authentication & Access Control Eğitimi

Azure Developer: Media Services Solutions Eğitimi

Azure Developer: PaaS Web Applications Eğitimi

Azure Developer: Relational Database Solutions Eğitimi