PySpark ile Databricks'te hat geliştirin
Databricks'te PySpark DataFrame/Spark SQL, Delta Lake MERGE/OPTIMIZE, medallion katmanlama, performans ayarı ve Workflows orkestrasyonunu öğreten orta seviye eğitim.
Databricks ve PySpark ile uygulamalı veri mühendisliği
Bu eğitim Databricks ortamında PySpark ile veri mühendisliğini uygulamalı öğretir. Spark temelleri, DataFrame API (select, filter, withColumn, groupBy, join) ve Spark SQL işlenir. Çeşitli kaynaklardan (dosya, JDBC, Delta) okuma, dönüşüm ve Delta Lake'e yazma, partition ve şema yönetimi ele alınır. Window fonksiyonları, UDF/pandas UDF, performans (cache, broadcast, partition ayarı), medallion katmanlama ve Delta MERGE uygulanır. Workflows ile orkestrasyon, hata yönetimi ve temel CI ile üretime hazırlık gösterilir.
3 Gün. Her gün dört modül; PySpark ve Delta ile hat kurma labler içerir.
Orta Seviye — Databricks üzerinde PySpark ile veri okuma, dönüştürme, Delta yazma ve orkestrasyonu kapsar.
Kaynaktan Delta'ya PySpark ile dönüşümlü bir hat kurup Workflows ile çalıştırarak öğrenilir.
DataFrame API ile ölçeklenebilir dönüşüm yazarsınız.
Delta Lake'e güvenilir, ACID yazım yaparsınız.
Workflows ile hattı zamanlar ve izlersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Orta düzey Python ve fonksiyon bilgisi gerekir.
Analitik SQL ve join mantığı beklenir.
ETL/ELT ve tablo kavramlarına aşinalık faydalıdır.
Bir Databricks workspace ve cluster erişimi gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
PySpark DataFrame ile veri okuyup dönüştürürsünüz.
Dosya, JDBC ve Delta kaynaklarıyla çalışırsınız.
Window fonksiyonları ve pandas UDF uygularsınız.
MERGE, time travel ve OPTIMIZE ile Delta yönetirsiniz.
Bronze/silver/gold katmanlı hat kurarsınız.
Partition, broadcast ve cache ile Spark'ı optimize edersiniz.
Workflows ile hattı zamanlar ve izlersiniz.
Git, test ve ortam ayrımıyla üretime hazırlanırsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Lakehouse mimarisi ve Delta Lake: ACID, şema evrim, MERGE, time travel, change data feed, medallion ve OPTIMIZE/Z-order ile tablo yönetimini öğrenin.
Detayları Gör →
Databricks'te DBFS/Volumes, Delta tabloları, dosya formatları ve PySpark/Spark SQL ile veri depolama ve temel işlemeyi uygulamalı öğrenin.
Detayları Gör →
Microsoft Fabric ile veri ambarı: Warehouse, OneLake, T-SQL yükleme, boyutsal modelleme, RLS/maskeleme ve Direct Lake Power BI entegrasyonunu öğrenin.
Detayları Gör →
Microsoft Fabric ile veri mühendisliği: Lakehouse, Spark, pipeline/Dataflow, medallion, Eventstream, KQL ve DevOps'u DP-700 kapsamında öğrenin.
Detayları Gör →
Veri ambarı ETL testi: boyut/olgu doğrulama, grain, SCD1/2/3, late arriving, agregat tutarlılığı, reconciliation ve BI semantik katman testini öğrenin.
Detayları Gör →