Azure Veri Bölümleme Eğitimi

Eğitim Hakkında

Azure veri platformlarında bölümleme stratejisi ve performans ayarı

Eğitim, Azure veri çözümlerinde bölümleme kararlarının performans, maliyet ve yönetilebilirlik üzerindeki etkisini işler. Data Lake klasör bölümleme ve partition elimination, Synapse dedicated SQL pool hash/round-robin/replicated dağıtımı ve tablo bölümleri, Cosmos DB partition key ve hot partition, Spark repartition/coalesce, Event Hubs partition ve veri kayması (skew) tespiti uygulamalı ele alınır.

Süre ve Format

2 Gün. Her gün dört modül; her modülde mimari anlatım, Azure portal laboratuvarı ve kısa senaryo çalışması yer alır.

Seviye

Orta Seviye — Azure veri depolarında dosya, tablo ve dağıtım bölümleme stratejilerini, kayma ve performans etkilerini kapsayan eğitim

Öğrenme Metodu

Örnek büyük veri setleri üzerinde farklı bölümleme senaryoları kurulur, sorgu planları ve süreler karşılaştırılır.

Neden Bu Eğitim?

🧱Doğru Tasarım

Bölümleme anahtarını sorgu desenine göre seçmeyi öğrenirsiniz.

📉Skew Çözümü

Veri kaymasını ölçüp dengelenmiş dağıtım kurarsınız.

⏱️Hızlı Sorgu

Partition elimination ile taranan veri miktarını düşürürsünüz.

Anahtar Konular

azure veri bölümlemedata partitioning azuresynapse hash distributioncosmos db partition keyspark repartitionpartition eliminationveri kayması skewazure veri mühendisliğievent hubs partitiondelta lake partition

“Veriyi nasıl böldüğünüz, sorgunun ne kadar hızlı olacağını belirler.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL bilgisi

T-SQL ile temel sorgu yazabilmek ve ilişkisel veri kavramlarını bilmek beklenir.

2

Azure temelleri

Kaynak grubu, depolama hesabı ve abonelik kavramlarına aşinalık gerekir.

3

Veri kavramları

ETL/ELT, veri ambarı ve veri gölü terimlerine genel hakimiyet faydalıdır.

4

Azure aboneliği

Laboratuvarlar için ücretsiz veya deneme Azure aboneliği kullanılır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı veri gölü ve ambar tablolarında bölümleme stratejisi belirler ve etkisini ölçer.

Modül 1

Bölümleme Temelleri

Yatay ve dikey bölümleme farkı
Partition elimination mantığı
Bölüm sayısı ve boyutu dengesi
Sorgu deseni analizi ve filtre kolonları
Çok kolonlu bölümleme riskleri
Bölümleme ve indeksleme ilişkisi

Modül 2

Data Lake Klasör Bölümleme

year/month/day klasör yapısı
Hive tarzı partition (key=value)
Spark partitionBy ile yazma
Küçük dosya sorununu önleme
Serverless SQL ile filepath() filtresi
Delta Lake partition ve Z-ORDER

Modül 3

Synapse Dedicated SQL Pool Dağıtımı

Hash, Round-robin, Replicated dağıtım
Dağıtım kolonu seçim kriterleri
Data movement (shuffle, broadcast) operasyonları
60 dağıtım ve DWU ilişkisi
Tablo bölümleri (PARTITION RANGE RIGHT)
Partition switching ile hızlı yükleme

Modül 4

Skew Tespiti

DBCC PDW_SHOWSPACEUSED ile dağıtım analizi
sys.dm_pdw_nodes_db_partition_stats
Veri kayması ve geçici tablo etkisi
Spark UI ile görev süresi dengesizliği
Salting tekniği
İstatistik oluşturma ve güncelleme

Günün hedefiKatılımcı NoSQL ve akış servislerinde partition key tasarlar, Spark partition sayısını optimize eder.

Modül 1

Cosmos DB Partition Key

Mantıksal ve fiziksel partition
Partition key seçim ilkeleri
Hot partition ve RU dağılımı
Hierarchical partition key
Cross-partition sorgu maliyeti
Change feed ve partition ilişkisi

Modül 2

Event Hubs ve Stream Bölümleme

Event Hubs partition sayısı ve tüketici grupları
Partition key ile sıralama garantisi
Stream Analytics PARTITION BY
Embarrassingly parallel iş tasarımı
Throughput unit ve ölçekleme
Partition kayması ve geç gelen olaylar

Modül 3

Spark Partition Yönetimi

Spark partition, task ve core ilişkisi
repartition ve coalesce farkı
spark.sql.shuffle.partitions ayarı
Adaptive Query Execution
Broadcast join ve shuffle azaltma
Databricks'te partition sayısı ölçümü

Modül 4

Uygulama Çalıştayı

Verilen veri seti için bölümleme planı hazırlama
Önce/sonra sorgu süresi karşılaştırması
Maliyet ve bakım etkisi analizi
Bölüm silme ve arşivleme stratejisi
Tasarım gerekçesi sunumu
Tasarım karar kayıt şablonu

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Partition elimination

Sorgu filtresine uygun bölümleme ile taranan veriyi azaltabilirsiniz.

✅

Klasör tasarımı

Hive tarzı partition yapısıyla veri gölü düzenleyebilirsiniz.

✅

Dağıtım seçimi

Synapse'te hash, round-robin ve replicated dağıtımı doğru seçebilirsiniz.

✅

Skew analizi

DMV sorgularıyla veri kaymasını tespit edebilirsiniz.

✅

Cosmos partition key

Hot partition oluşturmayan partition key seçebilirsiniz.

✅

Event Hubs

Partition sayısı ve anahtarıyla akış paralelliğini planlayabilirsiniz.

✅

Spark ayarı

repartition, coalesce ve shuffle ayarlarını optimize edebilirsiniz.

✅

Karar belgesi

Bölümleme kararlarını gerekçeli tasarım belgesine dönüştürebilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
veri ambarı geliştiricileri
performans ayarı yapan veri mimarları için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, veri ambarı geliştiricileri ve performans ayarı yapan veri mimarları için uygundur.

Bölümleme neden bu kadar önemli?

Yanlış anahtar sorgu maliyetini, kayma ve sıcak bölüm riskini ciddi artırır; eğitim ölçümlü örnekler sunar.

Hangi servisler kapsanır?

Data Lake, Synapse dedicated SQL pool, Cosmos DB, Event Hubs ve Spark işlenir.

Skew nasıl tespit edilir?

DMV sorguları, Spark UI ve metriklerle dağılım analizi uygulamalı yapılır.

Belge verilir mi?

Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING ON MICROSOFT AZURE: DATA PARTITIONING EĞİTİMİ