Hadoop'u bulutta EMR ile çalıştırın
Amazon EMR üzerinde yönetilen Hadoop/Spark cluster kurma, S3/EMRFS ile depolama, steps, otomatik ölçekleme, Spot Instance, IAM güvenliği ve maliyet optimizasyonu kapsayan eğitim.
Bulutta yönetilen Hadoop/Spark ve maliyet odaklı eğitim
Bu eğitim, Amazon EMR üzerinde yönetilen Hadoop ve Spark cluster'larını kurmayı, iş çalıştırmayı ve maliyeti optimize etmeyi öğretir. EMR mimarisi ve master/core/task node grupları, S3 ile depolama ayrımı (EMRFS), cluster oluşturma ve bootstrap aksiyonları, Hive/Spark/Presto adımları, otomatik ölçekleme ve Spot Instance kullanımı, transient vs kalıcı cluster, IAM ve güvenlik ile maliyet izleme gibi somut konuları kapsar. Katılımcı şirket içi Hadoop'a kıyasla bulut işletim modelini kavrar.
3 Gün. Her gün dört modül; her modül anlatım ve AWS EMR üzerinde uygulamalı lab içerir.
Orta Seviye — Amazon EMR üzerinde yönetilen Hadoop/Spark cluster kurma, çalıştırma ve maliyet optimize etme.
AWS konsolu ve CLI ile EMR cluster'ları oluşturup Hive/Spark işleri çalıştırarak ve maliyeti gözlemleyerek öğrenme.
Donanım ve kurulumla uğraşmadan dakikalar içinde Hadoop/Spark cluster'ı başlatırsınız.
Spot Instance ve transient cluster ile büyük veri maliyetini belirgin biçimde düşürürsünüz.
Hesap ile depolamayı ayırarak veriyi EMRFS üzerinden esnek biçimde yönetirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
HDFS ve MapReduce/Spark kavramlarına aşinalık gerekir.
EC2, S3 ve IAM kavramlarına giriş düzeyinde aşinalık faydalıdır.
Linux kabuğu ve AWS CLI kullanımı avantaj sağlar.
Kullanılabilir bir AWS hesabı (test amaçlı) önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
EMR node gruplarını ve EMRFS/S3 modelini açıklayabilirsiniz.
Konsol ve CLI ile EMR cluster'ı oluşturabilirsiniz.
Hive ve Spark adımlarını EMR üzerinde çalıştırabilirsiniz.
Managed scaling ile cluster'ı otomatik ölçeklendirebilirsiniz.
Spot Instance ile maliyeti düşürüp riski yönetebilirsiniz.
IAM, S3 politikaları ve şifreleme ile güvenliği sağlayabilirsiniz.
CloudWatch ve Spark UI ile işleri izleyebilirsiniz.
Transient cluster deseniyle maliyeti optimize edebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Spark tabanlı veri platformunda teknik liderlik: mimari kararlar, maliyet yönetişimi, kapasite planlaması, ekip standartları, CI/CD kültürü ve platform strateji
Detayları Gör →
Spark performansını en iyi uygulamalarla iyileştirin: partition stratejisi, skew giderme, broadcast/bucket join, Parquet pushdown, önbellek, Kryo ve AQE.
Detayları Gör →
Spark ile ilk programlarınızı yazın: SparkSession kurulumu, RDD dönüşüm/eylemleri, DataFrame ile okuma/filtreleme/gruplama ve Spark SQL temeli.
Detayları Gör →
İleri Spark programlama: Dataset/encoder, aggregateByKey ve özel partitioner, broadcast/accumulator, nested tipler, higher-order fonksiyonlar ve pandas UDF.
Detayları Gör →
Spark'ta akış verisine giriş: batch-stream farkı, lambda/kappa mimarileri, Structured Streaming temelleri, kaynaklar, çıkış modları ve ilk akış uygulaması.
Detayları Gör →