Üretim kalitesinde Spark uygulamaları geliştir
Yazılım geliştiriciler için üretim kalitesinde Spark uygulama geliştirmeyi ele alan ileri seviye eğitim: tip güvenli Dataset ve modüler transform tasarımı, konfigürasyon ve loglama, chispa/spark-testing-base ile birim test, Deequ veri kalitesi, fat JAR/wheel…
Uygulama yapısı, test, paketleme, CI/CD ve performans mühendisliği
Bu ileri seviye eğitim, yazılım geliştiriciler için üretim kalitesinde Spark uygulamaları geliştirmeyi ele alır. Katılımcılar DataFrame/Dataset API'sini tip güvenli biçimde kullanır; uygulamayı modüler (transform fonksiyonları, konfigürasyon, bağımlılık enjeksiyonu) yapıda tasarlar. Birim test (chispa, spark-testing-base), veri kalitesi kontrolleri ve test stratejisi; paketleme (sbt/Maven/PyPI), bağımlılık yönetimi ve shading; spark-submit ile dağıtım, konfigürasyon yönetimi ve CI/CD işlenir. Performans tarafında kaynak ayarı, shuffle ve join optimizasyonu, önbellekleme, broadcast ve partition stratejisi; hata yönetimi, loglama ve idempotent iş tasarımı ele alınır. Eğitim, üretim hazır bir Spark uygulamasının uçtan uca geliştirilmesiyle tamamlanır.
4 Gün. Her gün dört modül; uygulama tasarımından teste, paketleme/dağıtıma ve performans mühendisliğine ilerlenir.
İleri Seviye — Yazılım geliştiriciler için üretim kalitesinde Spark uygulama geliştirme, test ve dağıtımı.
Katılımcılar modüler bir Spark uygulamasını geliştirir, birim testlerini yazar, paketleyip spark-submit ile dağıtır ve performansını ölçerek iyileştirir.
Modüler, test edilebilir ve bakımı kolay Spark uygulamaları yazarsınız.
Birim test ve veri kalitesi kontrolleriyle güvenle değişiklik yaparsınız.
Paketleme, CI/CD ve spark-submit ile uygulamayı üretime taşırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Scala veya Python'da sağlam geliştirme deneyimi güçlü biçimde faydalıdır.
Spark DataFrame ve temel işleme deneyimi beklenir.
Test, sürüm kontrol ve CI/CD kavramlarına aşinalık faydalıdır.
Spark ve bir derleme/paketleme aracı (sbt/Maven/pip) erişimi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Dataset ve modüler transform'larla temiz Spark kodu yazarsınız.
Ortam bazlı konfigürasyon ve loglamayı yönetirsiniz.
chispa/spark-testing-base ile dönüşümleri test edersiniz.
Deequ/Great Expectations ile kalite kontrolleri kurarsınız.
Fat JAR/wheel ile uygulamayı paketleyip bağımlılığı yönetirsiniz.
Otomatik test ve dağıtım pipeline'ı kurarsınız.
Shuffle/join ve kaynak ayarıyla uygulamayı optimize edersiniz.
Üretim hazır bir Spark uygulamasını uçtan uca teslim edersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Spark'ın çekirdeği RDD'yi öğrenin: map/filter/reduceByKey dönüşümleri, lineage ve DAG, shuffle, partition ve persist ile performans yönetimi.
Detayları Gör →
Azure HDInsight'ta Spark kümesi sağlama, PySpark ve Spark SQL ile iş çalıştırma, YARN, autoscale, Ambari izleme ve maliyet yönetimini öğrenin.
Detayları Gör →
Yöneticiler için Kafka: olay akışının iş değeri, sade kavramlar, kullanım senaryoları, yönetilen/self-managed platform kararı ve maliyet değerlendirmesi.
Detayları Gör →
Apache Hive ile Hadoop veri ambarı: metastore, bölümleme, bucketing, ORC/Parquet ve ileri HiveQL sorgularını uygulamalı öğrenin.
Detayları Gör →
Apache Kafka eğitimi: broker, topic, partition, producer/consumer API, consumer group, replikasyon ve Kafka Connect'i uygulamalı öğrenin.
Detayları Gör →