Fabric Spark'ı ayarla, Delta tablolarını optimize et
Microsoft Fabric Lakehouse'ta Spark yapılandırması ve Delta Lake tablolarını ele alan orta seviye eğitim: starter/custom pool, oturum ve environment ayarları, Delta transaction log ve ACID, UPDATE/DELETE/MERGE, schema enforcement/evolution, time travel, OPTIM…
Spark pool/oturum yapılandırması, Delta Lake, ACID, time travel ve bakım
Bu eğitim, Microsoft Fabric Lakehouse ortamında Spark yapılandırmasını ve Delta Lake tablolarını derinlemesine ele alır. Katılımcılar starter/custom Spark pool, node boyutu, autoscale, oturum ayarları ve environment (kütüphane, Spark config) yönetimini uygular. Delta Lake tarafında transaction log (_delta_log), ACID işlemleri, MERGE/UPDATE/DELETE, schema enforcement ve evolution, time travel (VERSION AS OF), OPTIMIZE ve V-Order ile dosya sıkıştırma, VACUUM ile eski dosya temizliği ve Z-ordering işlenir. OneLake entegrasyonu, shortcut ve Delta tablolarının SQL endpoint ile sorgulanması ele alınır. Eğitim, performans ve bakım (table maintenance) kararlarıyla tamamlanır.
3 Gün. Her gün dört modül; Fabric Spark yapılandırmasından Delta Lake tablolarına ve bakım/optimizasyona ilerlenir.
Orta Seviye — Microsoft Fabric'te Spark yapılandırması ve Delta Lake tablolarıyla Lakehouse veri mühendisliği.
Katılımcılar Fabric notebook'larında Spark config ayarlar, Delta tabloları oluşturup MERGE/time travel uygular ve OPTIMIZE/VACUUM bakımını çalıştırır.
Pool, oturum ve environment ayarlarıyla Fabric Spark'ı iş yüküne uyarlarsınız.
Transaction log ve ACID ile güvenilir, güncellenebilir tablolar kurarsınız.
OPTIMIZE, V-Order ve VACUUM ile tablo performansını yüksek tutarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
DataFrame API ve temel PySpark bilgisi güçlü biçimde faydalıdır.
SELECT, MERGE ve DDL gibi SQL sorgularına aşinalık faydalıdır.
Fabric workspace ve Lakehouse kavramlarına aşinalık beklenir.
Bir Fabric kapasitesi ve Lakehouse oluşturma yetkisi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Starter/custom pool ve autoscale'i iş yüküne göre ayarlarsınız.
Environment ve Spark config ile oturumu yapılandırırsınız.
Transaction log ve _delta_log yapısını açıklarsınız.
Optimistic concurrency ile güvenli eşzamanlı işlemler yaparsınız.
UPDATE, DELETE ve MERGE ile tabloları güncellersiniz.
VERSION/TIMESTAMP AS OF ile geçmiş sürümlere erişirsiniz.
OPTIMIZE, V-Order ve Z-ordering ile tabloyu hızlandırırsınız.
VACUUM ve table maintenance ile depolama ve performansı yönetirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Hive performansı: map/bucket/SMB join, partition pruning, bucketing, veri çarpıklığı, EXPLAIN plan okuma ve sorun giderme. Uygulamalı ileri seviye eğitim.
Detayları Gör →
Kamu kurumları için büyük veri ve iş zekası: açık veri, gösterge panoları, hizmet metrikleri, usulsüzlük analitiği, KVKK ve veri yönetişimi. Orta seviye eğitim.
Detayları Gör →
Apache Kafka ile Spark Structured Streaming entegrasyonu: Kafka kaynağı, event-time pencereleme, watermark, stateful agregasyon, join ve checkpoint. İleri eğiti
Detayları Gör →
Apache Flink'e giriş: DataStream API, event-time, watermark, keyed state, pencereleme, checkpoint ve Kafka entegrasyonu. Uygulamalı temel seviye eğitim.
Detayları Gör →
Apache Spark'a giriş: driver/executor mimarisi, RDD, transformation/action, DataFrame, Spark SQL, Parquet ve önbellekleme. Uygulamalı temel seviye eğitim.
Detayları Gör →