Python, Spark ve Hadoop için Büyük Veri Eğitimi

Eğitim Hakkında

Hadoop ekosistemi ve PySpark ile dağıtık veri hattı kurun.

Eğitim, HDFS mimarisi, YARN ve MapReduce ile başlar; Hive, Sqoop ve HBase ekosistemini tanıtır. Ardından PySpark ile RDD, DataFrame ve Spark SQL, bölümleme ve shuffle optimizasyonu, Structured Streaming ile Kafka verisi işleme ve MLlib ile dağıtık model eğitimi uygulamalı olarak işlenir.

Süre ve Format

4 Gün. Her gün dört modül; sabah mimari ve komutlar, öğleden sonra PySpark laboratuvarı; son gün uçtan uca veri hattı projesi.

Seviye

İleri Seviye — HDFS ve Hive'dan PySpark DataFrame, performans ayarı ve akış verisine uzanan büyük veri mimarisi

Öğrenme Metodu

Her gün Docker tabanlı Hadoop/Spark küme ortamında komut satırı ve notebook uygulamalarıyla ilerlenir.

Neden Bu Eğitim?

🎯Uçtan Uca Mimari

Veri alımından depolamaya ve işlemeye uzanan büyük veri hattını bütün olarak görürsünüz.

🛠️Performans Bilinci

Shuffle, çarpıklık ve bölümleme gibi gerçek darboğazları Spark UI üzerinden teşhis edersiniz.

📈Python ile Ölçek

pandas bilginizi dağıtık ortama taşıyarak terabayt ölçeğine hazırlanırsınız.

Anahtar Konular

büyük veri eğitimiPySparkHadoop HDFSApache Spark PythonHiveSpark SQLStructured StreamingMLlibveri mühendisliği

“Büyük veri, büyük sorular için doğru mimariyi kurmakla başlar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python

Temel Python ve pandas deneyimi gereklidir.

2

SQL

SELECT, JOIN ve GROUP BY seviyesinde SQL bilgisi beklenir.

3

Linux

Temel komut satırı kullanımı (ls, cd, cat, ssh) bilinmelidir.

4

Ortam

En az 8 GB RAM'li bilgisayar ve Docker Desktop kurulumu önerilir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Hadoop kümesinin bileşenlerini açıklar ve HDFS üzerinde veri yönetir.

Modül 1

Hadoop Mimarisi ve HDFS

NameNode, DataNode, blok boyutu ve replikasyon faktörü
hdfs dfs komutları: -put, -get, -ls, -du, -setrep
Rack awareness ve veri yerelliği (data locality)
YARN: ResourceManager, NodeManager ve container kavramı
MapReduce iş akışı: map, shuffle/sort, reduce
Hadoop Streaming ile Python mapper/reducer yazma

Modül 2

Hadoop Ekosistemi: Hive, HBase, Sqoop

Hive metastore, tablo türleri (managed/external) ve HiveQL
Bölümleme (partition) ve bucketing ile Hive sorgu optimizasyonu
Sqoop ile ilişkisel veritabanından HDFS'e veri aktarımı
HBase satır anahtarı tasarımı ve column family kavramı
Parquet, ORC ve Avro dosya formatlarının karşılaştırması
Kafka ve Flume ile veri alımı (ingestion) mimarisine genel bakış

Modül 3

Spark Mimarisi ve Çalışma Modeli

Driver, executor, cluster manager (standalone, YARN, Kubernetes)
SparkSession ve SparkContext oluşturma, yapılandırma (spark.conf)
Job, stage, task ve DAG zamanlayıcı mantığı
Lazy evaluation, transformation ve action ayrımı
Dar (narrow) ve geniş (wide) bağımlılıklar, shuffle maliyeti
Spark UI ile iş, stage ve görev sürelerinin izlenmesi

Modül 4

PySpark Ortamı ve Pandas API

pip install pyspark, JAVA_HOME ve yerel mod (local[*]) kurulumu
spark-submit ile iş gönderme ve --conf parametreleri
Jupyter üzerinde PySpark ve findspark yaklaşımı
pyspark.pandas (Koalas) ile pandas benzeri sözdizimi
Python UDF, pandas UDF (Arrow) ve performans farkları
toPandas() sınırları ve bellek tuzakları

Günün hedefiKatılımcı PySpark ile RDD ve DataFrame tabanlı dönüşümler yazar.

Modül 1

RDD API ve Temel Dönüşümler

parallelize, textFile ve RDD bölümleri (partitions)
map, flatMap, filter ve distinct dönüşümleri
Pair RDD: reduceByKey, groupByKey, aggregateByKey ve join
cache, persist ve StorageLevel seçimleri
Broadcast değişkenleri ve accumulator kullanımı
Word count ve log analizi uygulaması

Modül 2

Spark DataFrame ve Spark SQL

spark.read ile CSV, JSON, Parquet okuma ve şema tanımı (StructType)
select, filter, withColumn, groupBy ve agg işlemleri
pyspark.sql.functions: when, col, explode, split, regexp_extract
Pencere fonksiyonları: Window.partitionBy, row_number, lag
createOrReplaceTempView ve spark.sql ile SQL sorguları
Join türleri, broadcast join ve null yönetimi

Modül 3

pandas Performans ve Bellek

Kategorik ve downcast dtype ile bellek tasarrufu
read_csv chunksize ve usecols ile büyük dosya okuma
Vektörleştirme ile apply döngülerinden kurtulma
Parquet ve Feather formatlarının CSV'ye göre avantajı
pyarrow tabanlı dtype ve string[pyarrow] kullanımı
cProfile ve %timeit ile darboğaz bulma

Modül 4

SQL ve Python ile Veri Çekme

SELECT, WHERE, GROUP BY, HAVING ve JOIN temel sorguları
SQLAlchemy engine ve pandas.read_sql_query
Parametreli sorgu ve güvenli bağlantı bilgisi yönetimi
Büyük sorgu sonuçlarını parça parça (chunksize) çekme
REST API ve JSON verisinden pd.json_normalize ile tabloya dönüştürme
Excel, CSV ve veritabanı kaynaklarını birleştiren analiz hattı

Günün hedefiKatılımcı Spark işlerini optimize eder ve akış verisi işler.

Modül 1

Spark Performans Ayarı

Catalyst optimizer ve Tungsten motoru, explain() çıktısı
repartition, coalesce ve spark.sql.shuffle.partitions ayarı
Veri çarpıklığı (skew) tespiti ve tuzlama (salting)
Adaptive Query Execution (AQE) özellikleri
Parquet bölümleme, predicate pushdown ve dosya boyutu yönetimi
Executor bellek ayarı: memoryOverhead, cores ve dinamik tahsis

Modül 2

Structured Streaming

readStream, writeStream ve trigger modları
Kafka kaynağından okuma ve JSON ayrıştırma (from_json)
Event-time pencereleri, watermark ve geç gelen veri
outputMode: append, update, complete farkları
Checkpoint ve tam-bir-kez (exactly-once) semantiği
foreachBatch ile hedef sisteme yazma

Modül 3

Dosya ve Klasör Otomasyonu

os, pathlib ve shutil ile dosya taşıma/kopyalama/silme
glob ve rglob ile desen tabanlı dosya bulma
zipfile ve shutil.make_archive ile arşivleme
Düzenli ifadeler (re) ile dosya adı ve içerik ayıklama
Zamanlanmış çalıştırma: cron ve Windows Görev Zamanlayıcı
send2trash ve güvenli silme alışkanlıkları

Modül 4

Python Projesi Yapısı ve Paketleme

pyproject.toml, src düzeni ve sanal ortam yönetimi
pip, pip-tools ve Poetry ile bağımlılık kilitleme
logging modülü ile seviyeli günlükleme
argparse ve click ile komut satırı araçları
Ortam değişkenleri, .env ve yapılandırma yönetimi
wheel paketi oluşturma ve özel indekse yayınlama

Günün hedefiKatılımcı MLlib ile model kurar, depolama–işleme–servis hattını sunar.

Modül 1

MLlib ile Dağıtık Makine Öğrenmesi

VectorAssembler, StringIndexer ve OneHotEncoder dönüşümleri
Pipeline ve PipelineModel ile iş akışı kurma
LogisticRegression, RandomForestClassifier ve GBTClassifier
KMeans ile kümeleme ve silhouette değerlendirmesi
CrossValidator ve ParamGridBuilder ile hiperparametre ayarı
Model kaydetme/yükleme ve MulticlassClassificationEvaluator

Modül 2

scikit-learn ile Makine Öğrenmesine Giriş

Eğitim/test ayırma, train_test_split ve çapraz doğrulama
Pipeline, ColumnTransformer, imputer ve ölçekleme
Lineer/lojistik regresyon, karar ağacı ve rastgele orman
Aşırı öğrenme, bias–variance ve düzenlileştirme
Metrikler: RMSE, F1, ROC-AUC ve karışıklık matrisi
Model kaydetme ve basit tahmin servisi

Modül 3

Keşifsel Veri Analizi (EDA) Süreci

Veri sözlüğü, birim ve ölçek tipleri (nominal, ordinal, aralık, oran)
Tek değişkenli dağılım incelemesi: çarpıklık, basıklık, histogram
İki değişkenli ilişkiler: korelasyon matrisi, scatter ve grup karşılaştırmaları
Eksiklik örüntüsü ve veri kalitesi raporu
Hipotez üretimi ve analiz not defterinin yapılandırılması
Jupyter Notebook ve JupyterLab ile tekrar üretilebilir analiz

Modül 4

Bitirme Projesi ve Kod Gözden Geçirme

Gereksinim analizi, kullanıcı hikâyeleri ve proje iskeleti
Katmanlı mimari: veri, servis ve arayüz ayrımı
Birim test, entegrasyon testi ve coverage hedefi
Git dal akışı ve pull request ile kod incelemesi
Dokümantasyon: README, docstring ve Sphinx/mkdocs
Proje sunumu ve iyileştirme planı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Hadoop ve HDFS

HDFS mimarisini ve temel komutlarını kullanarak dağıtık dosya sistemini yönetebilirsiniz

⚙️

Spark mimarisi

driver, executor ve DAG kavramlarıyla Spark işlerini yorumlayabilirsiniz

🔍

RDD programlama

RDD üzerinde map, reduceByKey ve join ile dağıtık işlem yazabilirsiniz

📊

pandas performansı

bellek tüketimini düşürüp büyük dosyaları parça parça işleyebilirsiniz

🧩

Spark optimizasyonu

bölümleme, önbellek ve join stratejileriyle Spark işlerini hızlandırabilirsiniz

🚀

Dosya otomasyonu

toplu dosya yeniden adlandırma, taşıma ve arşivleme işlerini script'e dökebilirsiniz

🔒

Spark MLlib

MLlib Pipeline ile dağıtık sınıflandırma ve kümeleme modelleri kurabilirsiniz

📦

Keşifsel analiz

yapılandırılmış bir EDA akışıyla veri kalitesini ve ilişkileri ortaya çıkarabilirsiniz

Kimler İçin Uygundur?

Veri mühendisleri
büyük veri geliştiricileri
BI uzmanları
dağıtık sistemlerde Python kullanmak isteyen yazılımcılar

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, büyük veri geliştiricileri, BI uzmanları ve dağıtık sistemlerde Python kullanmak isteyen yazılımcılar. Ön bilgi beklentileri için eğitimin ön koşullar bölümüne bakabilirsiniz.

Kendi bilgisayarımda küme kurmak zorunda mıyım?

Hayır. Docker tabanlı hazır ortam sağlanır; yerel mod ve çok düğümlü simülasyon birlikte kullanılır.

Hadoop hâlâ güncel mi?

HDFS ve YARN kurumsal ortamlarda yaygındır. Eğitim Hadoop'u temel katman, Spark'ı işleme motoru olarak ele alır ve bulut depolama alternatiflerine de değinir.

Eğitim sonunda sertifika verilir mi?

Katılım ve başarı koşullarını yerine getiren katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Eğitim uygulamalı mı ilerliyor?

Her gün Docker tabanlı Hadoop/Spark küme ortamında komut satırı ve notebook uygulamalarıyla ilerlenir. Süre 4 gündür; her gün dört modül işlenir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

PYTHON, SPARK VE HADOOP İÇİN BÜYÜK VERİ EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Hadoop Mimarisi ve HDFS

Hadoop Ekosistemi: Hive, HBase, Sqoop

Spark Mimarisi ve Çalışma Modeli

PySpark Ortamı ve Pandas API

RDD API ve Temel Dönüşümler

Spark DataFrame ve Spark SQL

pandas Performans ve Bellek

SQL ve Python ile Veri Çekme

Spark Performans Ayarı

Structured Streaming

Dosya ve Klasör Otomasyonu

Python Projesi Yapısı ve Paketleme

MLlib ile Dağıtık Makine Öğrenmesi

scikit-learn ile Makine Öğrenmesine Giriş

Keşifsel Veri Analizi (EDA) Süreci

Bitirme Projesi ve Kod Gözden Geçirme

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Flask in Python: Building a Simple Web Site Using Flask Eğitimi

Flask in Python: User Authentication in a Flask Application Eğitimi

Flask in Python: User Interactions in Flask Applications Eğitimi

Flask-RESTful: Getting Started with Flask-RESTful to Build APIs Eğitimi

Flask-RESTful: Parsing & Validating Input Requests Eğitimi