Basic Scalding Programming Eğitimi

Eğitim Hakkında

Scalding ile Hadoop üzerinde Scala tabanlı toplu veri işleme

Bu eğitim, Twitter tarafından geliştirilen Scalding kütüphanesiyle Scala üzerinde Hadoop veri işleme işleri yazmayı anlatır. Scala fonksiyonel temelleri, Cascading ve MapReduce modeli, Fields API ve Typed API, kaynak ve hedef (TextLine, Tsv), map, filter, flatMap, groupBy, aggregate, join türleri, sıralama, sayaçlar, yerel ve Hadoop modunda çalıştırma, JobTest ile birim test ve performans ayarı uygulamalı işlenir.

Süre ve Format

2 Gün. Her gün dört modül; 1. günde Scala ve Scalding Temelleri ve 2. günde Birleştirme, Test ve Üretim ele alınır, her modül uygulamalı çalışmayla pekiştirilir.

Seviye

Orta Seviye — Scalding ile Scala üzerinde Hadoop MapReduce işleri: Fields API, Typed API, join ve test

Öğrenme Metodu

Gerçek günlük dosyalarından kelime sayımı, oturum analizi ve kullanıcı-ürün birleştirme işleri Scalding ile yazılıp yerel modda çalıştırılır ve test edilir.

Neden Bu Eğitim?

🎯Kısa ve Okunabilir Kod

Ham MapReduce'a göre çok daha kısa Scala ifadeleriyle veri akışları yazarsınız.

⚙️Tip Güvenliği

Typed API ile hataları çalışma zamanı yerine derleme zamanında yakalarsınız.

🚀Test Edilebilirlik

JobTest ile işleri Hadoop kümesi olmadan birim test edersiniz.

Anahtar Konular

ScaldingScalaHadoop MapReduceCascadingTyped APIbüyük veri işlemegroupBy joinJobTestveri mühendisliğiTwitter Scalding

“Büyük veriyi küçük, okunabilir ve test edilebilir fonksiyonlarla işlemek mümkündür.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Programlama Deneyimi

Java veya benzeri bir dilde nesne yönelimli programlama deneyimi gerekir.

2

Hadoop Farkındalığı

HDFS ve MapReduce kavramlarına genel aşinalık beklenir.

3

Fonksiyonel Merak

Lambda ve koleksiyon işlemleri bilgisi faydalıdır.

4

Ortam

JDK 8/11, sbt ve IDE kurulu olmalıdır; Hadoop sanal makinesi sağlanır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Scala temellerini kullanır ve Scalding ile temel dönüşümleri yazar.

Modül 1

Scala Hızlı Tur

val/var, tür çıkarımı, case class ve pattern matching
Koleksiyonlar: List, Map, Option ve Tuple
map, filter, flatMap, fold ve for ifadeleri
Fonksiyonlar birinci sınıf değerdir: anonim fonksiyonlar
Option ile null güvenliği
sbt proje yapısı ve bağımlılıklar

Modül 2

MapReduce ve Cascading Modeli

MapReduce: map, shuffle ve reduce fazları
HDFS blok yapısı ve veri yerelliği
Cascading pipe, tap ve flow kavramları
Scalding'in Cascading ile ilişkisi
Zaman içinde yerini alan teknolojiler: Spark ve Flink karşılaştırması
Scalding ile ne zaman çalışılır

Modül 3

Fields API

Job sınıfı, Args ve ana yapı
TextLine ve Tsv kaynakları, Fields ve schema
map, project, filter, flatMap ve rename
groupBy ile toplama: size, sum, max
Çıktı yazma: write(Tsv(...))
Kelime sayımı örneği (word count)

Modül 4

Typed API

TypedPipe oluşturma ve tür çıkarımı
map, filter, flatMap, collect ve distinct
groupBy, sum, count ve aggregate (Aggregator)
Case class ile satır modelleme ve ayrıştırma
Monoid ve Semigroup ile toplama
Fields ile Typed API'nin birlikte kullanımı

Günün hedefiKatılımcı join ve gelişmiş gruplamayı kullanır, işleri test eder ve Hadoop'ta çalıştırır.

Modül 1

Gruplama ve Birleştirme

groupBy ve değerler üzerinde sort, take
join, leftJoin, outerJoin ve CoGroup
Hash join (joinWithTiny, joinWithSmaller)
Skew veri ve anahtar dağılımı sorunu
Anahtar-değer eşleme (KeyedList) işlemleri
Kullanıcı-ürün birleştirme örneği

Modül 2

Sıralama, Pencereleme ve Analitik

sortBy, sortWithTake ve top-N hesabı
Oturum analizi: zaman damgası ve gruplama
Dağılım hesabı: histogram ve yüzdelik
Filtreleme için Bloom filter ve HyperLogLog (Algebird)
Algebird ile yaklaşık sayım
Zaman serisi toplama örneği

Modül 3

Çalıştırma, Ayar ve İzleme

Yerel mod (--local) ve Hadoop modu (--hdfs)
Fat jar oluşturma (sbt-assembly) ve hadoop jar
Sayaçlar (Stat) ve Hadoop job sayaçları
Reducer sayısı, combiner ve bellek ayarları
Small files sorunu ve çıktı dosya sayısı
Hata ayıklama: günlükler ve örnek veriyle yerel deneme

Modül 4

Test ve Mini Proje

JobTest ile birim test: source, sink, run
Test verisi oluşturma ve kenar durumlar
Typed testleri ve ScalaTest ile entegrasyon
Sürekli entegrasyonda Scalding testleri
Mini proje: günlük verisinden kullanıcı oturum raporu
Modernizasyon seçenekleri: Spark'a taşıma ve kod karşılaştırması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Scala Kullanımı

Scala koleksiyonları ve fonksiyonel yapılarla kod yazabilirsiniz.

🧩

MapReduce Modeli

Veri işlemenin map-shuffle-reduce akışını açıklayabilirsiniz.

🛠️

Fields API

Fields API ile temel dönüşüm işleri yazabilirsiniz.

📊

Typed API

Tip güvenli TypedPipe işleri geliştirebilirsiniz.

🔍

Join İşlemleri

Farklı join türlerini ve hash join'i uygulayabilirsiniz.

🧪

Analitik Hesaplar

Top-N, oturum ve dağılım hesaplarını Scalding ile yapabilirsiniz.

📐

İş Çalıştırma

Yerel ve Hadoop modunda işleri paketleyip çalıştırabilirsiniz.

🚀

Test Yazımı

JobTest ile Scalding işlerini birim test edebilirsiniz.

Kimler İçin Uygundur?

Büyük veri işleme yapan veri mühendisleri
Scala bilen geliştiriciler
eski Hadoop tabanlı veri hatlarını sürdüren ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Büyük veri işleme yapan veri mühendisleri, Scala bilen geliştiriciler ve eski Hadoop tabanlı veri hatlarını sürdüren ekipler için uygundur.

Scalding hâlâ kullanılıyor mu?

Bazı kurumlarda mevcut veri hatları Scalding ile çalışır; eğitim bu hatları sürdürenlere ve Spark'a geçişe hazırlanlara yöneliktir.

Scala bilmem gerekiyor mu?

Eğitimde Scala hızlı turu verilir; ancak bir dilde programlama deneyimi gerekir.

Spark ile ilişkisi?

Kavramlar benzerdir; Spark ile kod karşılaştırması ve taşıma yaklaşımı da gösterilir.

Sertifika veriliyor mu?

Programı tamamlayanlara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BASIC SCALDING PROGRAMMING EĞİTİMİ