Azure HDInsight'ta Spark kümesini kur ve yönet
Azure HDInsight üzerinde yönetilen Spark kümeleriyle çalışmayı öğreten orta seviye eğitim: küme sağlama, Blob/ADLS depolama entegrasyonu, notebook ile PySpark ve Spark SQL işleri, YARN kaynak yönetimi, autoscale, Ambari izleme ve maliyet kontrolü.
HDInsight Spark kümesi, iş çalıştırma ve küme yönetimi
Bu orta seviye eğitim, Azure HDInsight üzerinde yönetilen Spark kümeleriyle çalışmayı öğretir. HDInsight küme türleri ve Spark kümesi sağlama (provisioning), head/worker node yapısı, Azure Storage ve Data Lake entegrasyonu işlenir. Jupyter/Zeppelin notebook ile PySpark iş çalıştırma, Spark SQL ile sorgulama, YARN üzerinde kaynak yönetimi; kümenin ölçeklenmesi (scale), otomatik ölçekleme, Ambari ile izleme ve yapılandırma, maliyet yönetimi ve kümenin silinmesi ele alınır. Katılımcı, bulutta bir Spark kümesi kurup iş çalıştırıp yönetebilir.
3 Gün. Her gün dört modül; katılımcılar küme sağlamadan iş çalıştırma ve yönetime ilerler.
Orta Seviye — Azure HDInsight üzerinde Spark kümesi kurma, iş çalıştırma ve küme yönetiminin uygulamalı ele alınması.
Katılımcılar Azure portal/CLI ile HDInsight kümesi sağlayıp notebook'ta Spark işleri çalıştırarak öğrenir.
Altyapıyla uğraşmadan bulutta Spark kümesi kurarsınız.
Jupyter/PySpark ile hızlıca iş geliştirip çalıştırırsınız.
Kümeyi ölçekler, izler ve maliyeti kontrol edersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Spark DataFrame/SQL temeline aşinalık faydalıdır.
Erişilebilir bir Azure aboneliği beklenir.
PySpark için temel Python aşinalığı yararlıdır.
Azure portal/CLI erişimi olan bir makine.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
HDInsight'ta Spark kümesini portal/CLI ile kurarsınız.
Blob ve ADLS Gen2 ile veri-hesap ayrımını uygularsınız.
Notebook'ta PySpark ile iş geliştirip çalıştırırsınız.
Temp view ve Hive metastore ile SQL sorgularsınız.
Executor ve dynamic allocation ile kaynak yönetirsiniz.
Autoscale ile kümeyi yüke göre ölçeklersiniz.
Ambari ile sağlık, metrik ve logları takip edersiniz.
Geçici küme ve yaşam döngüsüyle maliyeti kontrol edersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Hadoop MapReduce'ta Combiner: yerel toplama, idempotentlik koşulları, in-mapper combining ve Counter ile ölçüm. Performans odaklı orta seviye eğitim.
Detayları Gör →
Amazon EMR'da Hadoop/Spark: node grupları, S3/EMRFS, cluster kurulumu, steps, otomatik ölçekleme, Spot Instance, IAM ve maliyet optimizasyonu. Orta seviye eğiti
Detayları Gör →
Hadoop'a hızlı başlangıç: tek düğümlü kurulum, yapılandırma, HDFS, YARN, ilk MapReduce işi ve Hive sorgusu. Uygulamalı başlangıç seviyesi eğitim.
Detayları Gör →
Apache Ranger ile merkezi Hadoop yetkilendirmesi: HDFS/Hive politikaları, satır filtreleme, sütun maskeleme, tag tabanlı erişim ve denetim. İleri seviye eğitim.
Detayları Gör →
Büyük verinin hacim ve hızını yönetip akıllı veriye çevirin: batch/stream işleme, Lambda/Kappa mimarisi, Kafka, Spark ve veri kalitesi. Orta seviye eğitim.
Detayları Gör →