Azure Databricks Veri İşleme Eğitimi

Eğitim Hakkında

Azure Databricks üzerinde Spark tabanlı batch ve akış veri işleme

Eğitim, Azure Databricks çalışma alanında büyük veri işleme becerisi kazandırır. Notebook ve küme yönetimi, PySpark DataFrame dönüşümleri, Spark SQL, join ve window fonksiyonları, Delta Lake ACID tabloları ve MERGE, Structured Streaming ve Auto Loader ile artımlı alım, ADLS Gen2 bağlantısı, Databricks Jobs ile orkestrasyon ve Azure Data Factory entegrasyonu uygulamalı işlenir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde mimari anlatım, Azure portal laboratuvarı ve kısa senaryo çalışması yer alır.

Seviye

Orta Seviye — Azure Databricks üzerinde PySpark ile batch ve yapılandırılmış akış veri işleme, Delta Lake ve iş orkestrasyonunu kapsayan eğitim

Öğrenme Metodu

Databricks notebook'larında PySpark kodu yazılır; örnek büyük veri setleri üzerinde batch ve streaming işleme laboratuvarları yapılır.

Neden Bu Eğitim?

⚡Spark Gücü

Dağıtık işlemeyi PySpark ile okunabilir ve ölçeklenebilir kodla uygularsınız.

🔺Delta Lake

ACID, MERGE ve zaman yolculuğu ile güvenilir veri gölü tabloları kurarsınız.

🌊Akış İşleme

Auto Loader ve Structured Streaming ile artımlı veri alımı yaparsınız.

Anahtar Konular

azure databricksdatabricks eğitimipysparkdelta lakestructured streamingauto loaderspark sqldatabricks jobsazure veri mühendisliğibüyük veri işleme

“Büyük veri, küçük ve doğru adımlarla işlendiğinde yönetilebilir olur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python temelleri

Fonksiyon, liste ve sözlük gibi Python temellerini bilmek gerekir.

2

SQL bilgisi

SELECT, JOIN ve GROUP BY kullanabilmek beklenir.

3

Azure temelleri

Depolama hesabı ve kaynak grubu kavramlarına aşinalık gerekir.

4

Azure aboneliği

Databricks çalışma alanı açabilen abonelik veya eğitmen sağlayan ortam kullanılır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Databricks ortamında PySpark ve Spark SQL ile batch veri işleme boru hatları yazar.

Modül 1

Databricks Çalışma Alanı

Workspace, cluster ve notebook yapısı
All-purpose ve job cluster farkı
Cluster otomatik sonlandırma ve havuzlar
DBFS, Unity Catalog ve volumes
Magic komutlar (%sql, %python, %fs)
Repos ile Git entegrasyonu

Modül 2

PySpark DataFrame

Okuma/yazma: CSV, JSON, Parquet
select, filter, withColumn, groupBy
Şema tanımı ve inferSchema riskleri
Join türleri ve broadcast
Window fonksiyonları
UDF ve pandas UDF farkı

Modül 3

Spark SQL ve Görünümler

Temp view ve katalog tabloları
CTE ve alt sorgular
Yönetilen ve harici tablo farkı
Okuma planı: explain()
Tarih/saat fonksiyonları
SQL ve DataFrame API birlikte kullanım

Modül 4

ADLS Gen2 Bağlantısı

Service principal ile OAuth erişimi
Secret scope ve Key Vault entegrasyonu
abfss:// yolu ile okuma
Unity Catalog external location
Credential passthrough alternatifleri
Erişim hatası sorun giderme

Günün hedefiKatılımcı Delta tabloları ve akış işlerini kurar, Databricks Jobs ile üretim çalıştırmasını zamanlar.

Modül 1

Delta Lake

Delta transaction log ve ACID
MERGE INTO ile upsert
Time travel ve RESTORE
Schema enforcement ve evolution
OPTIMIZE, ZORDER ve VACUUM
Change Data Feed

Modül 2

Structured Streaming

readStream/writeStream mantığı
Trigger türleri ve checkpoint
Watermark ve pencereli toplulaştırma
Stream-static ve stream-stream join
Kafka/Event Hubs kaynağı
Çıktı modları: append, update, complete

Modül 3

Auto Loader ve Medallion

Auto Loader cloudFiles kaynağı
Şema çıkarımı ve schema evolution
Bronze, silver, gold katman akışı
Delta Live Tables genel bakış
Data quality expectations
Artımlı yükleme ve exactly-once

Modül 4

Jobs, Orkestrasyon ve Üretim

Databricks Jobs ve çok adımlı workflow
Parametreli notebook çalıştırma
ADF ile Databricks notebook activity
Hata bildirimi ve retry politikaları
Cluster boyutlandırma ve maliyet
CI/CD için Databricks CLI ve Bundles

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Cluster yönetimi

Databricks cluster ve notebook ortamını yapılandırabilirsiniz.

✅

PySpark

DataFrame API ile filtre, join ve window dönüşümleri yazabilirsiniz.

✅

Spark SQL

Spark SQL ve katalog tablolarıyla analitik sorgular çalıştırabilirsiniz.

✅

ADLS bağlantısı

Service principal ve secret scope ile güvenli depolama erişimi kurabilirsiniz.

✅

Delta MERGE

MERGE INTO ile upsert ve time travel kullanabilirsiniz.

✅

Streaming

Structured Streaming ile watermark'lı akış işleri yazabilirsiniz.

✅

Auto Loader

Artımlı dosya alımı yapan medallion akışı oluşturabilirsiniz.

✅

Üretim jobları

Databricks Jobs ile zamanlanmış ve parametreli workflow çalıştırabilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
veri analistleri ve Python/SQL bilen
Spark
büyük ölçekli işleme öğrenmek isteyen geliştiriciler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, veri analistleri ve Python/SQL bilen, Spark ile büyük ölçekli işleme öğrenmek isteyen geliştiriciler için uygundur.

Spark deneyimi gerekir mi?

Hayır; Python ve SQL temeli yeterlidir, Spark kavramları sıfırdan anlatılır.

Streaming de işlenir mi?

Evet, Structured Streaming ve Auto Loader uygulamalı laboratuvarlarla işlenir.

Delta Lake kapsamı nedir?

MERGE, time travel, şema evrimi ve OPTIMIZE/VACUUM işlenir.

Belge verilir mi?

Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING ON MICROSOFT AZURE: DATABRICK PROCESSING EĞİTİMİ