Spark'a sağlam ve hızlı bir giriş
Spark mimarisi, driver/executor, DAG, RDD ve DataFrame temelleriyle ilk dağıtık veri işleme işlerini sıfırdan kavratan giriş düzeyinde uygulamalı eğitim.
Spark'ın temel kavramlarına uygulamalı giriş
Bu eğitim, Apache Spark'a yeni başlayanlar için temel kavramları kazandırır. Spark'ın ne olduğu, neden hızlı olduğu ve Hadoop MapReduce ile farkı; driver, executor, DAG ve lazy evaluation işlenir. RDD temel dönüşümleri (map, filter, reduceByKey), DataFrame API ile select/filter/groupBy, basit veri okuma/yazma ve Spark UI ile iş inceleme uygulamalı ele alınır. Transformation-action ayrımı, partition kavramı ve ilk uygulamanın çalıştırılması gösterilir.
2 Gün. Her gün dört modül; temel kavram ve ilk Spark işleri çalıştırma lableri.
Temel Seviye — Spark'ın ne olduğu, mimarisi, RDD/DataFrame temeli ve ilk işlerin çalıştırılmasını kapsar.
Küçük veri setleri üzerinde RDD ve DataFrame işleri yazıp Spark UI ile gözlemleyerek öğrenilir.
Spark'ın temel mantığını karmaşaya boğulmadan kavrarsınız.
Bellek içi işleme ve DAG'ın neden hız kazandırdığını anlarsınız.
İleri Spark ve Spark SQL eğitimlerine hazır bir zemin edinirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Python'da temel kod yazabilmek faydalıdır.
Tablo ve satır/kolon kavramlarına aşinalık yeterlidir.
Terminal kullanımına temel aşinalık beklenir.
Spark kurulu bir makine veya not defteri ortamı önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Spark'ın ne olduğunu ve neden hızlı olduğunu açıklarsınız.
Driver, executor, DAG ve lazy evaluation'ı kavrarsınız.
map, filter ve reduceByKey ile basit RDD işleri yazarsınız.
select, filter ve groupBy ile temel dönüşümler yaparsınız.
CSV/JSON okuyup Parquet olarak yazarsınız.
Transformation ve action farkını pratikte görürsünüz.
Spark UI ile ilk işlerinizi gözlemlersiniz.
İleri Spark eğitimlerine hazır bir temel edinirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Hadoop üzerinde HiveQL ile SQL benzeri sorgulama ve Pig Latin ile veri akışı programlamayı uygulamalı öğrenin: partition, UDF ve uçtan uca ETL.
Detayları Gör →
Hive sorgularını partition pruning, bucketing, ORC/Parquet ve Tez ayarlarıyla hızlandırın. EXPLAIN plan okuma ve CBO ile ileri optimizasyon eğitimi.
Detayları Gör →
Veri analitiği temelleri, SQL ve Python (pandas) ile analiz ve Hadoop/Spark ile büyük veri işlemeyi uçtan uca öğrenin. Uygulamalı giriş eğitimi.
Detayları Gör →
Hive'da ARRAY, MAP, STRUCT ve JSON gibi iç içe veriyi LATERAL VIEW, explode ve get_json_object ile modelleyip sorgulamayı uygulamalı öğrenin.
Detayları Gör →
Apache Kafka temelleri: topic, partition ve offset yönetimi, producer ve consumer geliştirme, consumer group ve offset commit'i uygulamalı öğrenin.
Detayları Gör →