Apache Spark SQL Eğitimi

Eğitim Hakkında

Spark SQL ile dağıtık ölçekte yapılandırılmış analitik

Bu eğitim, Spark SQL ile büyük veride yapılandırılmış analitik yapmayı derinlemesine öğretir. SparkSession, temp/global view, Hive metastore entegrasyonu; SELECT, JOIN, GROUP BY, window fonksiyonları ve karmaşık tiplerle sorgulama işlenir. Catalyst optimizer, logical/physical plan, predicate/projection pushdown ve Adaptive Query Execution; Parquet/ORC/Delta kaynakları, UDF/UDAF ve DataFrame-SQL birlikte kullanımı uygulamalı ele alınır. Sorgu profilleme, shuffle ve skew ayarı gösterilir.

Süre ve Format

3 Gün. Her gün dört modül; Spark SQL ve DataFrame sorguları yazma ağırlıklı labler.

Seviye

Orta Seviye — Spark SQL ile yapılandırılmış veri sorgulama, Catalyst optimizasyonu ve metastore entegrasyonunu kapsar.

Öğrenme Metodu

Gerçek tablolar üzerinde SQL sorguları yazıp explain ile planları inceleyerek uygulanır.

Neden Bu Eğitim?

🧮Tanıdık Dil

Bildiğiniz SQL ile terabaytlık dağıtık veriyi sorgularsınız.

🧠Catalyst

Optimizer'ın plan ürettiğini anlayıp sorguları bilinçli yazarsınız.

🔗Entegrasyon

Hive metastore ve Delta ile mevcut tabloları tek arayüzden sorgularsınız.

Anahtar Konular

spark sql eğitimicatalyst optimizerwindow fonksiyonlarıspark aqehive metastorepandas udfspark dataframe sqlbüyük veri sqldelta parquet

“SQL evrenseldir; Spark onu sınırsız ölçeğe taşır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL

JOIN ve GROUP BY içeren SQL yazabilmek gerekir.

2

Spark Temeli

DataFrame kavramına temel aşinalık faydalıdır.

3

Python

UDF örnekleri için temel Python beklenir.

4

Lab Ortamı

Spark ve metastore erişimi olan bir ortam gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Spark SQL ile view oluşturup temel sorgular yazabilir.

Modül 1

SparkSession ve View

SparkSession ve SQL arayüzü
Temp view ve global temp view
createOrReplaceTempView
Katalog ve veritabanı
DataFrame-SQL geçişi
Sorgu çalıştırma

Modül 2

Temel Sorgular

SELECT, WHERE, ORDER BY
DISTINCT ve LIMIT
CASE WHEN ifadeleri
Takma ad ve ifadeler
NULL yönetimi
Veri tipleri ve CAST

Modül 3

Birleştirme

Inner/left/right/full join
Broadcast join
Join anahtarı ve kardinalite
Self join
Çoklu tablo join
Join doğrulama

Modül 4

Toplulaştırma

GROUP BY ve toplama
HAVING
GROUPING SETS/CUBE/ROLLUP
Approx count distinct
Çoklu seviye gruplama
Sonuç kontrolü

Günün hedefiKatılımcı window fonksiyonları ve çeşitli kaynaklarla ileri sorgular yazabilir.

Modül 1

Window Fonksiyonları

ROW_NUMBER/RANK/DENSE_RANK
PARTITION BY/ORDER BY frame
LEAD/LAG
Running total ve moving avg
FIRST/LAST_VALUE
NTILE

Modül 2

Karmaşık Tipler

ARRAY, MAP, STRUCT
explode ve posexplode
struct alan erişimi
from_json/to_json
collect_list/collect_set
Nested veri sorgulama

Modül 3

Veri Kaynakları

Parquet/ORC okuma
JSON ve CSV
JDBC kaynak
Delta tablo
Partition discovery
Yazma seçenekleri

Modül 4

Metastore

Hive metastore entegrasyonu
Kalıcı tablo oluşturma
saveAsTable
Bölümlü tablo
Katalog yönetimi
Tablo istatistikleri

Günün hedefiKatılımcı sorguları Catalyst/AQE ile optimize eder ve UDF ile genişletebilir.

Modül 1

Catalyst

Logical/physical plan
explain(True) okuma
Pushdown ve pruning
Rule-based optimizasyon
Cost-based optimizer
Plan karşılaştırma

Modül 2

AQE

Adaptive Query Execution
Dinamik partition birleştirme
Runtime join stratejisi
Skew join optimizasyonu
spark.sql.adaptive ayarları
AQE gözlemi

Modül 3

Performans

shuffle.partitions ayarı
Broadcast eşiği
Caching stratejisi
Partition pruning
Skew ve salting
Benchmark

Modül 4

UDF/UDAF

Python/Scala UDF
UDF performans maliyeti
Pandas UDF (vektörize)
UDAF kavramı
SQL'de UDF kaydı
Yerleşik fonksiyon tercihi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

SQL Sorgu

Spark SQL ile JOIN ve GROUP BY içeren sorgular yazarsınız.

✅

Window

Window fonksiyonlarıyla sıralama ve trend analizi yaparsınız.

✅

Karmaşık Tip

ARRAY/MAP/STRUCT ve explode ile nested veri sorgularsınız.

✅

Metastore

Hive metastore ile kalıcı tablolar yönetirsiniz.

✅

Catalyst

explain ile planları okuyup sorguları bilinçli yazarsınız.

✅

AQE

Adaptive Query Execution ile runtime optimizasyon uygularsınız.

✅

Performans

shuffle ve skew ayarlarıyla sorguları hızlandırırsınız.

✅

UDF

Pandas UDF dahil özel fonksiyonlarla Spark SQL'i genişletirsiniz.

Kimler İçin Uygundur?

SQL bilen analistler
veri mühendisleri
Spark SQL ile analitik üreten raporlama geliştiricileri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

SQL bilen analistler, veri mühendisleri ve Spark SQL ile analitik üreten raporlama geliştiricileri için uygundur.

Catalyst nedir?

Spark SQL'in sorgu optimizasyon motorudur; logical/physical plan ve pushdown eğitimde explain ile incelenir.

UDF ne zaman kullanılır?

Yerleşik fonksiyon yetmediğinde; performans için Pandas UDF ve yerleşik fonksiyon tercihi uygulamalı gösterilir.

Önceden Spark bilmek şart mı?

DataFrame'e temel aşinalık faydalıdır; eğitim ağırlıklı SQL arayüzünden ilerler.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

APACHE SPARK SQL EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

SparkSession ve View

Temel Sorgular

Birleştirme

Toplulaştırma

Window Fonksiyonları

Karmaşık Tipler

Veri Kaynakları

Metastore

Catalyst

AQE

Performans

UDF/UDAF

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Building Stateful and Event-Time Workflows with Kafka and Apache Spark Eğitimi

Büyük Veri Analizi Eğitimi

Cloudera Administrator for Apache Hadoop Eğitimi

Cloudera Data Analyst Training Eğitimi

Cloudera Manager & Hadoop Clusters Eğitimi