DP-3011 Azure Databricks Veri Analitiği Eğitimi

Eğitim Hakkında

Delta Lake, Unity Catalog ve Auto Loader ekseninde uygulamalı Azure çalışması

Bu eğitim Azure Databricks üzerinde veri analitiği çözümü geliştirmeyi anlatır. Çalışma alanı ve küme yapılandırması, Spark SQL ve PySpark ile keşif, Delta Lake tabloları, MERGE ve zaman yolculuğu, Auto Loader ile alım, Delta Live Tables / Lakeflow bildirimsel hatları, Azure Data Factory ile iş akışı orkestrasyonu, Unity Catalog yönetişimi ve performans ayarı laboratuvarlarla uygulanır.

Süre ve Format

2 Gün. Her gün dört modül; her modülde altı konu başlığı, adım adım laboratuvar, hata ayıklama alıştırması ve kısa değerlendirme.

Seviye

Orta Seviye — Databricks çalışma alanı, Spark, Delta Lake, bildirimsel hatlar, Unity Catalog ve orkestrasyon konularını kapsayan Azure eğitimi

Öğrenme Metodu

Delta Lake ve Unity Catalog konuları Azure aboneliğinde adım adım laboratuvarlarla uygulanır, sonuçlar portal, CLI ve günlük kayıtlarıyla doğrulanır.

Neden Bu Eğitim?

🎯Konuya Özgü Odak

Delta Lake, Unity Catalog ve Auto Loader konuları gerçek komut, kod ve yapılandırma örnekleriyle ele alınır.

🧪Uygulamalı Laboratuvar

Her modülde Delta Lake üzerinde çalışan bir laboratuvar kurulur, çalıştırılır ve izlenir.

🛠️Gerçek Senaryolar

Spark SQL dahil sahadaki tipik sorunlar üzerinden tasarım ve sorun giderme becerisi kazanılır.

Anahtar Konular

Azure DatabricksDP-3011Delta LakeUnity CatalogAuto LoaderDelta Live TablesPySparkSpark SQLveri analitiği Azure

“Bulutta iyi uygulama, her ayarın nedenini bilmekle başlar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

Temel SELECT, JOIN ve tablo tasarımı konularında bilgi sahibi olmak yararlıdır.

2

Bulut Kavramları

IaaS, PaaS ve SaaS ayrımı ile Azure portal kullanımı hakkında genel bilgi beklenir.

3

Veri Modelleme

İlişkisel veya belge tabanlı veri modelleme mantığına aşinalık faydalıdır.

4

Laboratuvar Ortamı

Tarayıcı ve SSMS veya Azure Data Studio kurulu bir bilgisayar yeterlidir; Azure aboneliği eğitimde sağlanır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı çalışma alanı kurar, Spark ile veriyi keşfeder ve dönüştürür.

Modül 1

Çalışma Alanı ve Kümeler

Çalışma alanı oluşturma ve fiyat katmanları
Hepsi bir arada (all-purpose) ve iş (job) kümeleri
Çalışma zamanı sürümü ve Photon
Otomatik sonlandırma ve havuzlar
Küme politikaları ve maliyet kontrolü
Not defterleri, Repos ve Git entegrasyonu

Modül 2

Spark ile Veri Keşfi

DataFrame okuma: CSV, JSON, Parquet
Şema çıkarımı ve açık şema tanımı
select, filter, withColumn, groupBy, agg
Spark SQL ve geçici görünümler
display() ile görselleştirme
Eksik ve bozuk veri temizliği

Modül 3

Delta Lake Temelleri

Delta tablosu ve işlem günlüğü (_delta_log)
INSERT, UPDATE, DELETE ve MERGE INTO
Zaman yolculuğu: VERSION AS OF
Şema zorlama ve şema evrimi
OPTIMIZE, Z-ORDER ve VACUUM
Yönetilen ve harici tablolar

Modül 4

Dönüştürme Desenleri

Bronze, Silver, Gold katman tasarımı
Pencere fonksiyonları ve karmaşık birleştirmeler
UDF ve pandas UDF farkı
Birleştirme performansı: broadcast join
Bölümleme ve dosya boyutu
Veri kalitesi kontrolleri

Günün hedefiKatılımcı bildirimsel hat kurar, yönetişim uygular ve iş akışlarını otomatikleştirir.

Modül 1

Artımlı Alım ve Bildirimsel Hatlar

Auto Loader ve cloudFiles seçenekleri
Şema çıkarımı ve şema kayması
Delta Live Tables / Lakeflow bildirimsel tablolar
Beklentiler (expectations) ile kalite kuralları
Akış tabloları ve gerçekleştirilmiş görünümler
Hat izleme ve olay günlüğü

Modül 2

Unity Catalog

Metastore, katalog, şema ve tablo hiyerarşisi
GRANT/REVOKE ile ayrıcalık yönetimi
Dış konum ve depolama kimlik bilgileri
Sütun maskeleme ve satır filtreleri
Veri soy ağacı (lineage)
Denetim günlükleri

Modül 3

Orkestrasyon

Databricks Workflows: görev, bağımlılık, tetikleyici
Parametreli not defteri çalıştırma
Azure Data Factory'den Databricks aktivitesi
Yeniden deneme ve uyarı yapılandırması
Azure DevOps / GitHub ile CI/CD
Databricks Asset Bundles genel bakış

Modül 4

Performans ve Maliyet

Spark UI: stage, task, shuffle okuma
Veri çarpıklığı ve AQE (adaptive query execution)
Önbellek ve küme boyutlandırma
Photon ve sunucusuz SQL ambarı
DBU maliyeti izleme
Küçük dosya sorunu ve otomatik sıkıştırma

Eğitim Kazanımları

Program sonunda katılımcılar:

🧩

Çalışma Alanı ve Kümeler

Databricks ortamını yapılandırabilirsiniz

⚙️

Spark ile Veri Keşfi

PySpark ve Spark SQL ile veriyi inceleyebilirsiniz

🔐

Delta Lake Temelleri

Delta tablolarını oluşturup yönetebilirsiniz

📡

Dönüştürme Desenleri

Medallion mimarisini uygulayabilirsiniz

🗄️

Artımlı Alım ve Bildirimsel Hatlar

Otomatik ve bildirimsel hat geliştirebilirsiniz

🚀

Unity Catalog

Yönetişim ve erişim denetimi yapabilirsiniz

🔍

Orkestrasyon

İş akışlarını zamanlayıp otomatikleştirebilirsiniz

✅

Performans ve Maliyet

Spark işlerini ayarlayabilirsiniz

Kimler İçin Uygundur?

Veri analistleri
veri mühendisleri
Databricks ile analitik çözüm geliştirmek isteyen uzmanlar için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri analistleri, veri mühendisleri ve Databricks ile analitik çözüm geliştirmek isteyen uzmanlar için uygundur.

DP-3011 Azure Databricks Veri Analitiği eğitimi kaç gün sürer?

Program 2 gün sürer; her gün dört modülden oluşur ve her modül Delta Lake, Unity Catalog, Auto Loader gibi konularda uygulamalı çalışma içerir.

Eğitime başlamak için hangi ön bilgiler gerekir?

Temel SELECT, JOIN ve tablo tasarımı konularında bilgi sahibi olmak yararlıdır. IaaS, PaaS ve SaaS ayrımı ile Azure portal kullanımı hakkında genel bilgi beklenir.

Eğitimde laboratuvar ortamı sağlanıyor mu?

Evet. Katılımcılar her modülde Azure portalı ve CLI üzerinde çalışan yönlendirmeli laboratuvarları kendi kaynak gruplarında uygular. Bilgisayarda yalnızca tarayıcı ve bir kod/yönetim aracı bulunması yeterlidir.

Eğitim sonunda sertifika alınır mı?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. DP-3011 sınavı için hazırlık sağlar; sınav başvurusu ve ücreti ilgili kuruma aittir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DP-3011 IMPLEMENT A DATA ANALYTICS SOLUTION WITH AZURE DATABRICKS EĞİTİMİ