Spark ile Yüksek Hızlı Analitik Eğitimi

Eğitim Hakkında

Etkileşimli analitik, önbellekleme, kolonlu format ve hız optimizasyonu

Bu eğitim, Spark'ı yüksek hızlı büyük veri analitiği için kullanmaya odaklanır. Katılımcılar Spark SQL ile etkileşimli sorgulama, agregasyon ve çok boyutlu analiz (rollup, cube, grouping sets) yapar; önbellekleme (cache/persist), kolonlu dosya formatları (Parquet, ORC) ve veri atlama ile sorguları hızlandırır. Analitik iş akışlarında veri hazırlama, materialize edilmiş ara sonuçlar, broadcast join ve partition stratejisi; AQE ile otomatik hızlandırma, approx fonksiyonlar (approx_count_distinct, percentile_approx) ve örnekleme ile hız-doğruluk dengesi işlenir. BI araçlarıyla (Thrift Server/JDBC) entegrasyon ve dashboard sorgularının optimizasyonu ele alınır. Eğitim, gerçek analitik senaryolarının uçtan uca hızlandırılmasıyla tamamlanır.

Süre ve Format

3 Gün. Her gün dört modül; etkileşimli analitikten önbellekleme ve format optimizasyonuna, BI entegrasyonuna ilerlenir.

Seviye

Orta Seviye — Spark ile yüksek hızlı büyük veri analitiği; etkileşimli sorgu, önbellekleme ve analitik iş akışlarının hızlandırılması.

Öğrenme Metodu

Katılımcılar büyük veri kümelerinde analitik sorgular yazar, önbellekleme ve format değişiklikleriyle sorgu sürelerindeki hızlanmayı ölçer.

Neden Bu Eğitim?

⚡Hız

Önbellekleme ve kolonlu formatla analitik sorguları kat kat hızlandırırsınız.

📊Etkileşim

Spark SQL ile petabayt ölçekte etkileşimli çok boyutlu analiz yaparsınız.

🎯Hız-Doğruluk

Approx fonksiyonlar ve örneklemeyle hız-doğruluk dengesini kurarsınız.

Anahtar Konular

spark analitikyüksek hızlı analitikspark sql analitikspark önbelleklemeparquet orcrollup cubeapprox_count_distinctadaptive query executionspark bietkileşimli sorgu

“Büyük veri analitiğinde hız, daha güçlü donanım değil daha az gereksiz okuma demektir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

SELECT, JOIN, GROUP BY gibi SQL'e aşinalık güçlü biçimde faydalıdır.

2

Spark Temeli

DataFrame ve Spark SQL'e temel aşinalık beklenir.

3

Analitik Kavram

Agregasyon ve çok boyutlu analiz kavramlarına aşinalık faydalıdır.

4

Çalışma Ortamı

Spark kurulu bir ortam veya Databricks/Jupyter erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Spark SQL ile etkileşimli ve çok boyutlu analitik sorgular yazabilir.

Modül 1

Analitik Sorgular

groupBy ve agg ile toplama
Çoklu metrik hesaplama
Filtreli agregasyon (agg + when)
Alt sorgu ve CTE ile katmanlı analiz
distinct ve mükerrer yönetimi
Sonuç sütunlarının düzenlenmesi

Modül 2

Çok Boyutlu Analiz

rollup ile hiyerarşik toplama
cube ile tüm boyut kombinasyonları
grouping sets ile seçili kombinasyon
grouping() ile toplam satırların işareti
Çapraz tablo (pivot)
Boyut-ölçü tasarımı

Modül 3

Pencere Analitiği

Window ile sıralama ve rank
lag/lead ile dönem karşılaştırma
Kümülatif ve hareketli metrikler
Partition bazlı analitik
Top-N analizleri
Pencere ile trend çıkarımı

Modül 4

Approx Fonksiyonlar

approx_count_distinct (HyperLogLog)
percentile_approx ile hızlı yüzdelik
Örnekleme (sample/sampleBy)
Hız-doğruluk dengesi
Tahmini sonuçların kullanım alanı
Hassasiyet (rsd) ayarı

Günün hedefiKatılımcı, önbellekleme ve kolonlu formatla analitik sorguları belirgin hızlandırabilir.

Modül 1

Önbellekleme

cache ve persist farkı
Depolama seviyeleri (MEMORY_ONLY, MEMORY_AND_DISK)
Önbelleğin ne zaman fayda sağladığı
Tekrarlı sorguda önbellek kazanımı
unpersist ile bellek geri alma
Önbellek boyutunun izlenmesi

Modül 2

Kolonlu Format

Parquet'in sütun tabanlı okuma avantajı
ORC ve istatistikleri
Sütun seçiminde (projection) kazanç
Sıkıştırma seçimi
Satır tabanlı formatla karşılaştırma
Format dönüşümünün maliyeti

Modül 3

Veri Atlama

Predicate pushdown
Min/max istatistikle stripe/row-group atlama
Partition pruning
Dosya düzeni ve sıralama (sort)
Z-order benzeri kümeleme (Delta)
Okunan veri miktarının azaltılması

Modül 4

Materialize ve Ara Sonuç

Ortak ara sonucun bir kez hesaplanması
Geçici tablo olarak yazma
Materialized view yaklaşımı
Yeniden hesaplamanın önlenmesi
Önbellek ile materialize kararı
Analitik hattın adımlara ayrılması

Günün hedefiKatılımcı, analitik iş akışlarını optimize edip BI araçlarına bağlayabilir.

Modül 1

AQE ve Join

Adaptive Query Execution ile otomatik hız
Dinamik partition coalescing
Skew join optimizasyonu
Broadcast join ile hızlanma
autoBroadcastJoinThreshold ayarı
Join sırası etkisi

Modül 2

Partition Stratejisi

spark.sql.shuffle.partitions ayarı
repartition vs coalesce
Analitik için partition boyutu
Küçük dosya problemi
Partition ve filtre uyumu
Paralellik-overhead dengesi

Modül 3

BI Entegrasyonu

Spark Thrift Server (STS)
JDBC/ODBC ile BI aracı bağlantısı
Önceden toplanmış (pre-aggregated) tablolar
Dashboard sorgularının optimizasyonu
Eşzamanlı sorgu yönetimi
Önbellek ile etkileşim hızı

Modül 4

Uçtan Uca Hızlandırma

Yavaş analitik sorgunun teşhisi
explain() ile darboğaz tespiti
Format + önbellek + AQE birleşik etkisi
Öncesi/sonrası süre karşılaştırması
Hız-doğruluk kararının verilmesi
Optimizasyon kararlarının belgelenmesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Etkileşimli Analitik

Spark SQL ile çok boyutlu (rollup/cube) analiz yaparsınız.

✅

Pencere Analitiği

lag/lead ve kümülatif metriklerle trend çıkarırsınız.

✅

Approx

approx_count_distinct ve percentile_approx ile hız kazanırsınız.

✅

Önbellekleme

cache/persist ile tekrarlı sorguları hızlandırırsınız.

✅

Kolonlu Format

Parquet/ORC ve pushdown ile okunan veriyi azaltırsınız.

✅

AQE/Join

AQE ve broadcast join ile sorguları otomatik hızlandırırsınız.

✅

BI Entegrasyonu

Thrift Server/JDBC ile BI araçlarına bağlanırsınız.

✅

Hızlandırma

Analitik hattı uçtan uca ölçüp optimize edersiniz.

Kimler İçin Uygundur?

Büyük veri üzerinde hızlı ve etkileşimli analiz yapmak isteyen veri analistleri
BI geliştiricileri
analitik veri mühendisleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Büyük veri üzerinde hızlı ve etkileşimli analiz yapmak isteyen veri analistleri, BI geliştiricileri ve analitik veri mühendisleri için uygundur.

Önbellekleme her zaman hızlandırır mı?

Hayır; yalnızca aynı veri birden çok kez kullanıldığında fayda sağlar ve belleği tüketir. Tek kullanımlık sorguda önbellekleme ek yük getirebilir; eğitim ne zaman kullanılacağını gösterir.

Approx fonksiyonlar güvenilir mi?

Belirlenen hata payı içinde çok hızlı tahmini sonuç verirler; kesin değer gerektirmeyen dashboard ve keşif analizlerinde büyük hız kazandırır, eğitim hassasiyet ayarını ele alır.

BI aracımı Spark'a nasıl bağlarım?

Spark Thrift Server üzerinden JDBC/ODBC ile BI aracı bağlanır; önceden toplanmış tablolar ve önbellekle dashboard sorguları etkileşim hızında çalışır.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

SPARK FOR HIGH-SPEED BIG DATA ANALYTICS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Analitik Sorgular

Çok Boyutlu Analiz

Pencere Analitiği

Approx Fonksiyonlar

Önbellekleme

Kolonlu Format

Veri Atlama

Materialize ve Ara Sonuç

AQE ve Join

Partition Stratejisi

BI Entegrasyonu

Uçtan Uca Hızlandırma

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Harnessing Data Volume & Velocity: Turning Big Data into Smart Data Eğitimi

HDInsight & Retail Sales Implementation Using Hive Eğitimi

Hive Joining, Partitioning, & Troubleshooting Eğitimi

Hükümet Kurumları için Büyük Veri İşletme Zekası Eğitimi

Integrating Apache Kafka with Spark Structured Streaming Eğitimi