Spark kümelerini kurup çalıştırın
Standalone/YARN/Kubernetes dağıtım, executor/driver kaynak ayarı, dinamik tahsis, Spark UI ve History Server ile iş izleme ve temel sorun gidermeyi öğreten giriş düzeyi Spark yönetim eğitimi.
Spark küme kurulumu ve operasyonuna giriş
Bu eğitim, Spark kümelerinin kurulumu ve yönetimine giriş niteliğindedir. Standalone, YARN ve Kubernetes dağıtım modları; driver ve executor kaynak yapılandırması (memory, cores, instances); spark-submit ve deploy-mode işlenir. Dinamik tahsis ve external shuffle service, Spark UI ve History Server ile iş izleme, log toplama ve temel sorun giderme uygulamalı ele alınır. Kaynak kuyrukları, bellek/GC temelleri ve kapasite planlama girişi gösterilir.
3 Gün. Her gün dört modül; küme kurulumu ve iş gönderme/izleme lableri.
Temel Seviye — Spark küme kurulumu, dağıtım modları, kaynak yapılandırma ve temel izleme/sorun gidermeyi kapsar.
Standalone ve YARN/Kubernetes üzerinde iş gönderip Spark UI/History Server ile izleyerek öğrenilir.
Standalone, YARN ve Kubernetes arasında doğru dağıtımı seçersiniz.
Executor/driver kaynaklarını işe göre doğru boyutlandırırsınız.
Spark UI ve History Server ile işleri izleyip sorun giderirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Driver/executor ve DataFrame kavramına temel aşinalık faydalıdır.
Servis yönetimi, SSH ve log inceleme deneyimi gerekir.
Port ve host kavramlarına aşinalık beklenir.
Çok node'lu bir Spark ortamı veya küme erişimi gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Standalone/YARN/Kubernetes arasında doğru modu seçersiniz.
spark-submit ile işleri doğru parametrelerle gönderirsiniz.
Executor/driver kaynaklarını işe göre boyutlandırırsınız.
Dinamik tahsisle kaynakları yüke göre ayarlarsınız.
Spark UI ile işleri inceler ve darboğaz bulursunuz.
Geçmiş işleri History Server ile analiz edersiniz.
Logları okuyup OOM/shuffle hatalarını giderirsiniz.
Temel kapasite planlama ve bakım ilkelerini uygularsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Spark Structured Streaming ile Kafka entegrasyonunu öğrenin: Kafka source/sink, from_json ayrıştırma, offset yönetimi, pencereleme, checkpoint ve exactly-once.
Detayları Gör →
Apache Spark'a başlayın: dağıtık işleme modeli, driver/executor mimarisi, RDD dönüşüm/eylemleri, DataFrame, Spark SQL ve ilk veri işleme işi.
Detayları Gör →
R'ı büyük veriyle ölçekli kullanın: data.table performansı, sparklyr/SparkR ile Spark bağlantısı, dplyr dağıtık işleme, MLlib modelleme ve spark_apply.
Detayları Gör →
Spark SQL ile büyük veriyi sorgulayın: DataFrame/SQL, JOIN türleri, pencere fonksiyonları, UDF, Catalyst plan analizi, pushdown, AQE ve performans ayarı.
Detayları Gör →
Spark Structured Streaming ve Kafka ile üretim ölçeğinde akış işleme: olay zamanı pencereleme, stateful join, exactly-once, RocksDB state store ve izleme.
Detayları Gör →