Cloudera Spark & Hadoop Eğitimi

Eğitim Hakkında

Cloudera platformunda Spark ve Hadoop ile veri işleme

Bu eğitim, Cloudera dağıtımı üzerinde Hadoop ve Spark'ı birlikte kullanmayı öğretir. HDFS dosya sistemi, YARN kaynak yönetimi ve Cloudera Manager/CDP bileşenleri; Sqoop ve Kafka ile veri alımı; Spark RDD ve DataFrame API, Spark SQL ve Catalyst optimizer; Hive metastore entegrasyonu işlenir. Parquet/ORC ile depolama, partitioning, spark-submit ile iş gönderme, YARN üzerinde executor/driver yapılandırması ve kaynak ayarları uygulamalı gösterilir. Veri alımından raporlamaya giden tam bir hat kurulur.

Süre ve Format

4 Gün. Her gün dört modül; Cloudera kümesinde veri alımı ve Spark işi çalıştırma ağırlıklı labler.

Seviye

Orta Seviye — Cloudera dağıtımında HDFS, YARN, Spark Core/SQL, veri alımı ve küme operasyonunu kapsar.

Öğrenme Metodu

Cloudera sandbox/küme üzerinde HDFS'e veri yükleyip Spark işleri göndererek uygulamalı ilerlenir.

Neden Bu Eğitim?

🏢Kurumsal Platform

Cloudera'nın yönetim ve güvenlik araçlarıyla bütünleşik bir platformu kullanırsınız.

⚡Spark Hızı

Bellek içi işleme ile MapReduce'a göre çok daha hızlı analitik çalıştırırsınız.

🔗Uçtan Uca

Veri alımından SQL analitiğine giden tam bir veri hattını kurarsınız.

Anahtar Konular

cloudera eğitimispark hadoophdfsyarnspark dataframespark sqlsqoopcdpbüyük veri platformu

“Doğru platform, dağıtık karmaşıklığı tek bir akışa indirger.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL

Temel SELECT/JOIN sorguları yazabilmek faydalıdır.

2

Programlama

Python veya Scala'da temel yetkinlik beklenir.

3

Linux

Terminal, SSH ve dosya işlemleri gerekir.

4

Lab Ortamı

Cloudera kümesine veya sandbox'a erişim sağlanmalıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Cloudera platformunu tanır ve HDFS üzerinde veri yönetebilir.

Modül 1

Cloudera Platformu

Cloudera Manager ve CDP bileşenleri
Servis rolleri ve host yapısı
Küme topolojisi ve node türleri
Cloudera vs Hortonworks birleşimi
Yapılandırma ve servis yönetimi
Güvenlik: Kerberos ve Ranger genel bakış

Modül 2

HDFS

NameNode ve DataNode mimarisi
Blok boyutu ve replikasyon faktörü
hdfs dfs komutları ile dosya işlemleri
HDFS federasyonu ve HA
Rack awareness ve veri yerleşimi
Depolama kotası ve izinler

Modül 3

Veri Formatları

Text, Avro, Parquet, ORC karşılaştırması
Sıkıştırma kodekleri ve seçimi
Şema ve veri evrimi
Küçük dosya problemi
Kolonsal formatın analitik avantajı
Format seçimi karar kriterleri

Modül 4

Dosya Yönetimi

Dizin yapısı ve veri kataloğu
Veri yaşam döngüsü ve arşiv
HDFS balancer kullanımı
Snapshot ile anlık yedek
Trash ve geri alma
Kullanım izleme ve raporlama

Günün hedefiKatılımcı ilişkisel ve akış kaynaklarından veri alıp YARN'da iş çalıştırabilir.

Modül 1

Sqoop ile Alım

RDBMS'ten HDFS'e import
Artımlı import (append/lastmodified)
Hive tablosuna doğrudan aktarım
Paralel map görevleri ve split-by
Export ile geri yazma
Bağlantı ve sürücü yapılandırması

Modül 2

Kafka ile Akış

Topic'ten Spark'a veri okuma
Kafka Connect ile HDFS sink
Batch vs streaming alım kararı
Offset yönetimi
Şema ve serileştirme
Akış verisini HDFS'e düşürme

Modül 3

YARN

ResourceManager ve NodeManager
Container ve kaynak tahsisi
Scheduler: Capacity ve Fair
Queue tanımı ve kaynak paylaşımı
Uygulama izleme (ApplicationMaster)
YARN log toplama

Modül 4

İş Gönderme

spark-submit parametreleri
deploy-mode: client vs cluster
executor-memory ve executor-cores
num-executors ve dynamic allocation
driver kaynak ayarı
İş durum izleme ve kill

Günün hedefiKatılımcı Spark DataFrame API ile dönüşümler yazıp işleri optimize edebilir.

Modül 1

Spark Mimarisi

Driver, executor ve cluster manager
RDD, DAG ve lazy evaluation
Transformation vs action
Narrow ve wide dependency
Shuffle maliyeti ve nedeni
Spark UI ile iş izleme

Modül 2

RDD Temeli

map, filter, flatMap dönüşümleri
reduceByKey ve groupByKey farkı
Partition sayısı ve paralellik
Persist/cache ve storage level
Broadcast değişken kullanımı
Accumulator ile sayaç

Modül 3

DataFrame API

DataFrame ve Dataset kavramı
select, filter, withColumn, groupBy
join türleri ve broadcast join
Kullanıcı tanımlı fonksiyon (UDF)
Veri kaynağı okuma/yazma (read/write)
Şema çıkarımı ve explicit şema

Modül 4

Optimizasyon

Catalyst optimizer mantığı
repartition vs coalesce
Partition pruning ve pushdown
Skew ve salting tekniği
Cache stratejisi
explain() ile plan inceleme

Günün hedefiKatılımcı Spark SQL ile analitik çalıştırır ve üretim düzeyinde iş hattı kurar.

Modül 1

Spark SQL

SparkSession ve SQL arayüzü
Geçici görünüm (temp view) oluşturma
Hive metastore entegrasyonu
Window fonksiyonları
Karmaşık tiplerle sorgulama
Parquet tablolara SQL

Modül 2

Hive Entegrasyonu

Mevcut Hive tablolarını okuma
saveAsTable ile tablo yazma
Bölümlü tablo yönetimi
Metastore paylaşımı
Spark ve Hive uyum notları
SQL ile ambar sorgulama

Modül 3

İş Hattı

Veri alımı→dönüşüm→yazma akışı
Oozie/Airflow ile zamanlama kavramı
Idempotent yazma ve overwrite
Veri kalitesi kontrolleri
Hata yönetimi ve yeniden deneme
Çıktının BI'a sunulması

Modül 4

Operasyon ve Ayar

spark.sql.shuffle.partitions ayarı
Adaptive Query Execution (AQE)
Bellek ve GC gözlemi
Kaynak kuyruğu ve öncelik
İş günlüğü ve hata analizi
Performans darboğazı tespiti

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Platform Hakimiyeti

Cloudera bileşenlerini ve servis rollerini yönetirsiniz.

✅

HDFS Yönetimi

Dağıtık depolamada veri yerleşimi ve replikasyonu kavrarsınız.

✅

Veri Alımı

Sqoop ve Kafka ile ilişkisel ve akış verisini platforma taşırsınız.

✅

YARN

Kaynak kuyrukları ve executor ayarlarıyla işleri verimli çalıştırırsınız.

✅

Spark DataFrame

DataFrame API ile ölçeklenebilir dönüşümler yazarsınız.

✅

Spark SQL

Metastore entegrasyonuyla SQL analitiği çalıştırırsınız.

✅

Optimizasyon

Catalyst, AQE ve shuffle ayarlarıyla işleri hızlandırırsınız.

✅

İş Hattı

Alımdan raporlamaya giden üretim hattını kurarsınız.

Kimler İçin Uygundur?

Cloudera platformuyla çalışan veri mühendisleri
Hadoop yöneticileri
Spark'a geçiş yapan geliştiriciler

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Cloudera ile çalışan veri mühendisleri, Hadoop yöneticileri ve Spark'a geçen geliştiriciler için uygundur.

Python mı Scala mı kullanılıyor?

Örnekler ağırlıkla PySpark ile işlenir; Scala farkları da gösterilir.

Spark neden MapReduce'tan hızlı?

Bellek içi işleme, DAG ve Catalyst optimizasyonu eğitimde pratikle karşılaştırılır.

Cloudera lisansı gerekiyor mu?

Eğitim için sandbox veya mevcut bir küme yeterlidir; ürün lisansı katılımcı kurumunun sorumluluğundadır.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

CLOUDERA SPARK & HADOOP EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Cloudera Platformu

HDFS

Veri Formatları

Dosya Yönetimi

Sqoop ile Alım

Kafka ile Akış

YARN

İş Gönderme

Spark Mimarisi

RDD Temeli

DataFrame API

Optimizasyon

Spark SQL

Hive Entegrasyonu

İş Hattı

Operasyon ve Ayar

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Developing Event-Driven Applications with Apache Kafka and Red Hat AMQ Streams Eğitimi

Digital Transformation – Guiding the Big Data to Strengthen the Decision-Making Eğitimi

Distributed Messaging with Apache Kafka Eğitimi

DS & ML with Spark and MLlib Eğitimi

Filtering Data Using Hadoop MapReduce Eğitimi