PySpark ile büyük veriyi dağıtık işleyin
PySpark ile Spark mimarisi, DataFrame ve Spark SQL, pencere fonksiyonları, join ve shuffle optimizasyonu, pandas UDF, Delta Lake, Structured Streaming, MLlib ve küme dağıtımı uygulamalı işlenir.
Apache Spark ile büyük veri işleme ve optimizasyon
PySpark ile büyük veri işlemeyi öğretir. Spark mimarisi (driver, executor, DAG, stage, task), RDD ve DataFrame API, Spark SQL, pencere fonksiyonları, UDF ve pandas UDF, join stratejileri (broadcast, sort-merge), shuffle ve bölümleme, Catalyst ve Tungsten, Parquet ve Delta Lake, Structured Streaming (Kafka, watermark), MLlib pipeline'ları, Spark UI ile performans ayarı ve küme dağıtımı (YARN, Kubernetes, Databricks) uygulamalı işlenir.
3 Gün. Her gün dört modül; 1. gün Spark Mimarisi ve DataFrame, 2. gün Dönüşüm, Join ve Optimizasyon, 3. gün Akış, ML ve Dağıtım konularına ayrılmıştır.
İleri Seviye — Apache Spark mimarisi, PySpark DataFrame, Spark SQL, optimizasyon, Structured Streaming ve MLlib
Yerel mod ve Docker tabanlı küme üzerinde, milyonlarca satırlık veri setleriyle çalışılır; her modülde Spark UI ile plan ve performans incelenir.
Tek makineye sığmayan veriyi paralel işlersiniz.
Shuffle, join ve bölümleme ayarlarıyla işleri hızlandırırsınız.
Structured Streaming ile gerçek zamanlıya yakın işleme kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Python ve pandas deneyimi gerekir.
SELECT, JOIN, GROUP BY ve pencere fonksiyonu bilgisi gerekir.
Dosya formatları ve veri ambarı mantığına aşinalık faydalıdır.
Java 11/17, Python 3.10+ ve en az 8 GB RAM önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Driver, executor ve DAG yapısını açıklayabilirsiniz.
DataFrame API ve Spark SQL ile dönüşümler yazabilirsiniz.
Parquet ve Delta ile bölümlenmiş veri yazıp okuyabilirsiniz.
Broadcast ve AQE ile join performansını artırabilirsiniz.
Shuffle ve bölüm sayısını iş yüküne göre ayarlayabilirsiniz.
Arrow tabanlı pandas UDF ile özel mantık yazabilirsiniz.
Watermark'lı akış işleme hatları kurabilirsiniz.
MLlib pipeline kurup uygulamayı spark-submit ile dağıtabilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Python development eğitimi: sınıf ve kalıtım, özel metotlar, try/except ile istisna yönetimi, özel hatalar, import sistemi ve paket yapısını 2 günde uygulayın.
Detayları Gör →
Python fonksiyonları eğitimi: def, *args ve **kwargs, varsayılan ve anahtar kelime parametreleri, LEGB kapsamı, tip ipuçları ve özyineleme konularını 2 günde öğ
Detayları Gör →
Python ileri fonksiyon eğitimi: lambda, map/filter, generator ve yield, closure, decorator, functools ve itertools konularını uygulamalı örneklerle 2 günde öğre
Detayları Gör →
Python veri yapıları eğitimi: list, tuple, dict, set, string, collections, kopyalama ve JSON işlemlerini karmaşıklık kıyaslamalarıyla 2 günde öğrenin.
Detayları Gör →
Python başlangıç eğitimi: if/elif/else, match-case, for ve while döngüleri, enumerate, zip ve comprehension konularını alıştırmalarla 2 günde öğrenin.
Detayları Gör →