MongoDB with Spark Eğitimi

Eğitim Hakkında

MongoDB Spark Connector ile dağıtık veri işleme ve analitik eğitimi

MongoDB with Spark Eğitimi, Apache Spark ile MongoDB verisini dağıtık ölçekte işlemeye ve analiz etmeye odaklanır. Katılımcılar Spark temellerini, MongoDB Spark Connector yapılandırmasını ve DataFrame ile okuma-yazma işlemlerini öğrenir. Aggregation pushdown, partitioner stratejileri, Spark SQL ile sorgulama ve şema çıkarımı ele alınır. Structured Streaming, MLlib entegrasyonu ve performans ayarı gerçek veri işleriyle uygulamalı işlenir.

Süre ve Format

3 Gün. İlk gün Spark temelleri ve Connector, ikinci gün DataFrame, pushdown ve Spark SQL, üçüncü gün Streaming, MLlib ve performans ayarı uygulamalı işlenir.

Seviye

Orta Seviye — MongoDB Spark Connector ile DataFrame, aggregation pushdown, Spark SQL ve MLlib işlenir

Öğrenme Metodu

Her konu Spark ortamında MongoDB Spark Connector yapılandırılarak, DataFrame işleri çalıştırılarak ve analiz üretilerek uygulamalı işlenir.

Neden Bu Eğitim?

⚡Dağıtık işleme

Apache Spark ile MongoDB verisini birden çok düğümde paralel işler, büyük veri setlerini hızla analiz edersiniz.

🔽Pushdown optimizasyonu

Aggregation ve filtre pushdown ile işlemeyi MongoDB'ye indirger, veri transferini ve işlem maliyetini azaltırsınız.

🤖Analitik ve ML

Spark SQL ve MLlib ile MongoDB verisi üzerinde gelişmiş analiz ve makine öğrenmesi modelleri geliştirirsiniz.

Anahtar Konular

mongodb spark eğitimispark connector kursumongodb dağıtık işlemespark sql mongodbmongodb mllibstructured streaming eğitimibüyük veri sparkmongodb analitik

“Spark ile MongoDB; belge modelinin esnekliğini dağıtık işlemenin gücüyle birleştirerek büyük veride analiz ölçeğini açar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak temel bilgi ve ortam gereksinimleri

1

MongoDB temelleri

Belge modeli ve aggregation konularına temel aşinalık Connector işlemlerini kolaylaştırır.

2

Programlama bilgisi

Python veya Scala dillerinden birinde temel programlama deneyimi Spark işlerini kolaylaştırır.

3

Veri işleme kavramı

DataFrame, batch ve dağıtık işleme gibi temel kavramları bilmek faydalı olur.

4

Çalışma ortamı

Spark kurulu bir ortam veya not defteri ile erişilebilir bir MongoDB kümesi yeterlidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiBu gün sonunda Spark işleme modelini kavrar, MongoDB Spark Connector'ı yapılandırır ve MongoDB'den DataFrame ile veri okuyup yazma işlemlerini uygularsınız.

Modül 1

Apache Spark Temelleri

Spark dağıtık işleme mimarisi ve bileşenlerinin tanıtılması
Driver, executor ve cluster manager rollerinin kavranması
RDD, DataFrame ve Dataset soyutlamalarının karşılaştırılması
Lazy evaluation ve transformation-action ayrımı
SparkSession ile uygulama başlatma
Spark işlerinin paralel yürütme mantığı

Modül 2

MongoDB Spark Connector

Connector bağımlılığının projeye eklenmesi
Bağlantı dizesi ve okuma-yazma yapılandırması
spark.mongodb.read ve write seçeneklerinin ayarlanması
Connector sürüm uyumluluğunun kontrol edilmesi
Atlas bağlantısı ve kimlik doğrulama yapılandırması
Connector mimarisinin veri akışındaki rolü

Modül 3

DataFrame ile Okuma

MongoDB koleksiyonunun DataFrame olarak yüklenmesi
Şema çıkarımı ve manuel şema tanımlama
İç içe belge ve dizilerin DataFrame'de temsili
Filtre ve kolon seçiminin okumaya uygulanması
Büyük koleksiyonların verimli okunması
Okuma yapılandırmasının performansa etkisi

Modül 4

DataFrame ile Yazma

DataFrame sonuçlarının MongoDB'ye yazılması
Yazma modları append ve overwrite seçimi
Yazma sırasında koleksiyon ve veritabanı hedefleme
Toplu yazma ile performansın artırılması
Yazma sırasında şema ve tip uyumunun sağlanması
Yazma işlemlerinin doğrulanması ve izlenmesi

Günün hedefiBu gün sonunda DataFrame dönüşümleri uygular, aggregation ve filtre pushdown ile işleri optimize eder ve Spark SQL ile MongoDB verisini sorgularsınız.

Modül 1

DataFrame Dönüşümleri

select, filter ve withColumn ile veri dönüştürme
groupBy ve agg ile toplama işlemleri
join ile DataFrame'lerin birleştirilmesi
İç içe alanların açılması ve düzleştirilmesi
Kullanıcı tanımlı fonksiyonların uygulanması
Dönüşüm zincirlerinin yürütme planının anlaşılması

Modül 2

Aggregation Pushdown

Filtre pushdown ile koşulların MongoDB'ye indirgenmesi
Aggregation pipeline'ın kaynağa gönderilmesi
Veri transferinin azaltılması ve ağ maliyeti
Pushdown uygulanan ve uygulanmayan işlemlerin ayrımı
explain ile fiziksel planın incelenmesi
Pushdown ile uçtan uca performansın artırılması

Modül 3

Partitioner Stratejileri

Partitioner kavramı ve paralellik üzerindeki etkisi
Sample ve shard tabanlı partitioner seçenekleri
Partition boyutu ve sayısının ayarlanması
Sharded koleksiyonlarda bölümlemenin kullanımı
Veri çarpıklığının bölümlemeye etkisi
Partition ayarlarının iş performansına yansıması

Modül 4

Spark SQL ile Sorgulama

DataFrame'in geçici görünüm olarak kaydedilmesi
SQL sorgularıyla MongoDB verisinin sorgulanması
Katalog ve tablo tanımlarının yönetimi
SQL ve DataFrame API'nin birlikte kullanımı
Karmaşık analitik sorguların SQL ile yazılması
Sorgu sonuçlarının MongoDB'ye yazılması

Günün hedefiBu gün sonunda Structured Streaming ile gerçek zamanlı işleme kurar, MLlib ile MongoDB verisinde model eğitir ve Spark işlerinin performansını ayarlarsınız.

Modül 1

Structured Streaming

Spark Structured Streaming işleme modelinin tanıtılması
MongoDB'den akış kaynağı olarak veri okuma
Akış sonuçlarının MongoDB'ye yazılması
Micro-batch ve sürekli işleme yaklaşımları
Checkpoint ile akış durumunun yönetilmesi
Gerçek zamanlı analitik senaryolarının tasarlanması

Modül 2

MLlib Entegrasyonu

MongoDB verisinin MLlib için hazırlanması
Özellik mühendisliği ve vektörleştirme adımları
Sınıflandırma ve regresyon modellerinin eğitilmesi
ML Pipeline ile uçtan uca iş akışının kurulması
Model sonuçlarının MongoDB'ye yazılması
Eğitim verisi ölçeklendiğinde dağıtık işlemenin rolü

Modül 3

Performans Ayarı

Partition sayısı ve paralelliğin optimize edilmesi
Önbellekleme ve kalıcılık seviyelerinin kullanımı
Shuffle maliyetinin azaltılması
Bellek ve executor yapılandırmasının ayarlanması
Spark UI ile iş performansının izlenmesi
Pushdown ve indeks kullanımıyla uçtan uca optimizasyon

Modül 4

Uçtan Uca Veri Hattı

Kaynaktan analize veri hattının tasarlanması
Batch ve streaming adımlarının bir arada kullanımı
Hat adımlarının zamanlanması ve orkestrasyonu
Hata yönetimi ve yeniden çalıştırma senaryoları
Sonuçların raporlama ve görselleştirmeye beslenmesi
Hattın izlenmesi ve bakım stratejileri

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Spark kavrayışı

Spark dağıtık işleme mimarisini, DataFrame soyutlamasını ve paralel yürütme mantığını kavrayabilirsiniz.

✅

Connector yapılandırması

MongoDB Spark Connector'ı kurar, okuma ve yazma seçeneklerini doğru yapılandırabilirsiniz.

✅

DataFrame işleme

MongoDB verisini DataFrame olarak okur, dönüştürür ve sonuçları koleksiyonlara geri yazabilirsiniz.

✅

Pushdown optimizasyonu

Aggregation ve filtre pushdown ile işlemeyi kaynağa indirger ve veri transferini azaltabilirsiniz.

✅

Spark SQL analitiği

DataFrame'leri görünüm olarak kaydeder ve Spark SQL ile karmaşık analitik sorgular çalıştırabilirsiniz.

✅

Gerçek zamanlı işleme

Structured Streaming ile MongoDB'yi akış kaynağı ve hedefi olarak kullanıp gerçek zamanlı işleme kurabilirsiniz.

✅

MLlib entegrasyonu

MongoDB verisini hazırlayıp MLlib ile dağıtık biçimde sınıflandırma ve regresyon modelleri eğitebilirsiniz.

✅

Performans ayarı

Partition, önbellekleme ve shuffle ayarlarıyla Spark işlerinin uçtan uca performansını optimize edebilirsiniz.

Kimler İçin Uygundur?

Dağıtık veri işleme yapan veri mühendisleri
Spark ile analitik hatları kuran geliştiriciler
MongoDB verisini makine öğrenmesine besleyen veri bilimciler
büyük ölçekli işleme projelerinde çalışan BT ekipleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Dağıtık veri işleme yapan veri mühendisleri, Spark ile analitik hatları kuran geliştiriciler ve MongoDB verisini makine öğrenmesine besleyen veri bilimciler için uygundur. Büyük ölçekli işleme projelerinde çalışan BT ekiplerine de yöneliktir.

Eğitim kaç gün sürüyor ve nasıl işleniyor?

Eğitim 3 gün sürer. İlk gün Spark temelleri ve Connector, ikinci gün DataFrame işleme, pushdown ve Spark SQL, üçüncü gün Streaming, MLlib ve performans ayarı işlenir. Her konu Spark ortamında gerçek işler çalıştırılarak uygulamalı çalışılır.

Big Data entegrasyonu eğitiminden farkı nedir?

Big Data entegrasyonu eğitimi Kafka, Hadoop ve veri gölü akışlarını geniş bir ekosistem perspektifinden ele alır. Bu eğitim ise özellikle MongoDB Spark Connector ile dağıtık işleme, pushdown optimizasyonu, Spark SQL ve MLlib üzerine odaklanır.

Hangi dil kullanılıyor, Python mı Scala mı?

Örnekler ağırlıklı olarak PySpark ile Python üzerinden işlenir; istenirse Scala karşılıkları da gösterilir. Spark SQL örnekleri her iki dilden bağımsız çalışır. Temel Python veya Scala bilgisi işleri kolaylaştırır.

Katılımcılar sertifika alıyor mu?

Programı tamamlayan katılımcılar Digital Vizyon Akademi Katılım ve Başarı Sertifikası alır. Eğitim, Spark ile MongoDB kullanan büyük ölçekli veri projelerinde uygulamalı yetkinlik kazandırmayı hedefler.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika