Spark'ın kalbini RDD dönüşümleriyle çöz
Spark'ın temel soyutlaması RDD'ye odaklanan orta seviye eğitim: dönüşümler ve eylemler, lazy evaluation ve lineage, pair RDD işlemleri, narrow/wide bağımlılık ve shuffle, partition yönetimi, persist ve broadcast/accumulator paylaşımlı değişkenleri.
RDD dönüşümleri, eylemler, lineage ve partition yönetimi
Bu orta seviye eğitim, Spark'ın temel veri soyutlaması olan Resilient Distributed Dataset (RDD) üzerine odaklanır. RDD oluşturma (parallelize, textFile), dönüşümler (map, filter, flatMap, reduceByKey, groupByKey, join), eylemler (collect, count, reduce, take); lazy evaluation ve lineage (DAG) ile hata toleransı işlenir. Ardından partition yönetimi, narrow/wide dependency ve shuffle, persist/cache storage seviyeleri, broadcast ve accumulator paylaşımlı değişkenleri, key-value RDD işlemleri ele alınır. Katılımcı, RDD API ile dağıtık veri dönüşümlerini yazıp performansını yorumlayabilir.
3 Gün. Her gün dört modül; katılımcılar RDD temelinden shuffle ve paylaşımlı değişkenlere ilerler.
Orta Seviye — Spark'ın çekirdek soyutlaması RDD'nin dönüşümleri, eylemleri ve çalışma modelinin derinlemesine ele alınması.
Katılımcılar Spark shell ve notebook'ta gerçek veri üzerinde RDD dönüşümleri yazıp DAG ve partition davranışını gözlemler.
DataFrame'in altındaki RDD modelini derinlemesine kavrarsınız.
Lazy evaluation ve lineage ile hata toleransını anlarsınız.
Shuffle ve partition kararlarıyla işleri hızlandırırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Python veya Scala ile temel programlama deneyimi beklenir.
map/filter gibi fonksiyonel kavramlara aşinalık faydalıdır.
Dağıtık işleme mantığına genel aşinalık yararlıdır.
Spark kurulu bir ortam (yerel, küme veya bulut) ve bir shell/notebook.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
RDD oluşturup değişmezlik ve partition mantığını açıklarsınız.
map, filter ve flatMap ile veriyi dönüştürürsünüz.
collect, reduce ve count ile hesabı tetiklersiniz.
Lazy evaluation ve DAG ile hata toleransını kavrarsınız.
reduceByKey ve join ile key-value veriyi işlersiniz.
Narrow/wide bağımlılık ve shuffle maliyetini yönetirsiniz.
cache ve storage seviyeleriyle performans kazanırsınız.
Broadcast ve accumulator'ı doğru kullanırsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Apache Hadoop eğitimi: HDFS, MapReduce, YARN ve Hive/Sqoop/HBase ekosistemiyle dağıtık depolama ve işlemeyi uygulamalı öğrenin.
Detayları Gör →
Kafka yönetimi: broker yapılandırma, KRaft, SASL/SSL/ACL güvenlik, kota, reassignment, izleme ve felaket kurtarmayı uygulamalı öğrenin.
Detayları Gör →
Kafka Streams ve ksqlDB ile akış analitiği: KStream/KTable, pencere toplama, join, state store ve materialized view uygulamalı öğrenin.
Detayları Gör →
Geliştiriciler için Kafka: Producer/Consumer API, Avro serileştirme, retry/DLT, Spring Kafka ve EmbeddedKafka testlerini uygulamalı öğrenin.
Detayları Gör →
Kafka temelleri: broker, topic, partition, offset, consumer group ve CLI ile ilk producer/consumer uygulamasını sıfırdan öğrenin.
Detayları Gör →