Colab ve Apache Spark ile Big Data Eğitimi

Eğitim Hakkında

Google Colab, PySpark, DataFrame API ve Spark SQL ile analiz

Bu orta seviye eğitim, büyük veri analizini herhangi bir küme kurmadan Google Colab bulut ortamında Apache Spark ile yapmaya odaklanır. Colab'da PySpark kurulumu (pip install pyspark), SparkSession oluşturma, Google Drive bağlama ile veri okuma işlenir. Ardından DataFrame API ile select, filter, groupBy, join dönüşümleri; Spark SQL ile temp view üzerinden sorgulama; pencere fonksiyonları ve agregasyonlar uygulanır. Matplotlib/pandas ile görselleştirme, Parquet okuma/yazma ve performans ipuçları ele alınır. Katılımcılar gerçek bir veri seti üzerinde uçtan uca bir analiz not defteri (notebook) hazırlar.

Süre ve Format

3 Gün. Her gün dört modül; katılımcılar Colab kurulumundan DataFrame, Spark SQL ve görselleştirmeye ilerler.

Seviye

Orta Seviye — Google Colab ortamında PySpark kurulumu, DataFrame işleme ve Spark SQL ile büyük veri analizinin bulutta uygulanması.

Öğrenme Metodu

Katılımcılar tarayıcı üzerinden Google Colab'da PySpark not defterleri yazarak her kavramı anında çalıştırıp görerek öğrenir.

Neden Bu Eğitim?

☁️Kurulumsuz Başlangıç

Küme kurmadan tarayıcıdan Colab'da Spark çalıştırmayı öğrenirsiniz.

🐍PySpark Pratiği

Python bilginizle DataFrame ve Spark SQL analizini uygularsınız.

📊Analiz ve Görsel

Sonuçları pandas/matplotlib ile anlaşılır grafiklere dönüştürürsünüz.

Anahtar Konular

pyspark eğitimigoogle colabapache sparkspark sqldataframebüyük veri analizicolab sparkpencere fonksiyonlarıparquetveri analizi

“Spark'ı öğrenmek için kümeye değil, bir tarayıcıya ve iyi bir soruya ihtiyacınız var.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python Temeli

Değişken, liste ve fonksiyon gibi temel Python bilgisi beklenir.

2

Google Hesabı

Colab ve Drive kullanımı için bir Google hesabı gerekir.

3

Veri Kavramı

Tablo, sütun ve temel SQL (SELECT) bilgisi faydalıdır.

4

İnternet Erişimi

Colab bulutta çalıştığı için istikrarlı internet bağlantısı gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Colab'da PySpark ortamını kurup veri okuyabilir.

Modül 1

Colab Ortamı

Google Colab not defteri oluşturma ve hücre yapısı
Çalışma zamanı (runtime) ve kaynak sınırları
pip install pyspark ile Spark kurulumu
Google Drive'ı drive.mount ile bağlama
Dosya yükleme ve örnek veri seti indirme
Not defterini paylaşma ve kaydetme

Modül 2

SparkSession

SparkSession.builder ile oturum oluşturma
appName ve config ile yapılandırma
Yerel (local[*]) modda Spark çalıştırma
spark.version ile sürüm kontrolü
SparkContext ve SparkSession ilişkisi
Oturumu stop ile sonlandırma

Modül 3

Veri Okuma

spark.read.csv ile CSV okuma ve header/inferSchema
spark.read.json ile JSON okuma
Parquet dosyası okuma
Şema (schema) manuel tanımlama (StructType)
Drive'daki dosyadan DataFrame oluşturma
show() ve printSchema() ile inceleme

Modül 4

DataFrame Temelleri

DataFrame ve RDD farkı
columns, dtypes ve describe() kullanımı
count ve head ile veri boyutu kontrolü
select ile sütun seçimi
Lazy evaluation ve action kavramı
toPandas() ile küçük veriyi pandas'a aktarma

Günün hedefiKatılımcı, DataFrame API ile veri dönüşümü ve birleştirme yapabilir.

Modül 1

Filtreleme ve Seçim

filter/where ile koşullu filtreleme
col() ifadeleriyle koşul yazımı
distinct ve dropDuplicates kullanımı
orderBy ile sıralama
limit ile sonuç sınırlama
isNull/isNotNull ile boş değer kontrolü

Modül 2

Sütun İşlemleri

withColumn ile yeni sütun türetme
withColumnRenamed ile ad değiştirme
drop ile sütun silme
cast ile veri tipi dönüşümü
when/otherwise ile koşullu değer
fonksiyonlar (upper, concat, round) kullanımı

Modül 3

Gruplama ve Agregasyon

groupBy ile gruplama
agg ile çoklu agregasyon (sum, avg, count)
max, min ve stddev hesaplama
pivot ile çapraz tablo
having mantığıyla gruplanmış filtre
Null'ların agregasyona etkisi

Modül 4

Birleştirme ve Eksik Veri

join türleri (inner, left, right, outer)
Birden çok anahtarla join
union ile DataFrame birleştirme
na.fill ve na.drop ile eksik veri yönetimi
fillna ile değer doldurma stratejisi
broadcast ile küçük tablo join optimizasyonu

Günün hedefiKatılımcı, Spark SQL ile sorgu yazıp sonuçları görselleştirebilir.

Modül 1

Spark SQL

createOrReplaceTempView ile geçici view
spark.sql ile SQL sorgusu çalıştırma
SELECT, WHERE, GROUP BY, ORDER BY yazımı
JOIN ve alt sorgu (subquery) kullanımı
CASE WHEN ile koşullu ifade
DataFrame API ve SQL karşılaştırması

Modül 2

Pencere Fonksiyonları

Window.partitionBy ile pencere tanımı
row_number ve rank fonksiyonları
lag ve lead ile önceki/sonraki satır
Kümülatif toplam (running total)
orderBy ile pencere içi sıralama
Pencere ile kategori bazlı en iyi N kaydı bulma

Modül 3

Görselleştirme

toPandas ile veriyi pandas'a çekme
matplotlib ile çizgi ve çubuk grafik
Zaman serisi trendinin çizimi
Histogram ve dağılım grafikleri
Seaborn ile gelişmiş görselleştirme
Grafiklerin yorumlanması ve raporlanması

Modül 4

Kayıt ve Performans

write.parquet ile sonuç yazma
coalesce/repartition ile çıktı dosya sayısı
cache ile tekrar kullanılan DataFrame tutma
Spark UI (Colab'da) temel okuma
Küçük veri için pandas, büyük veri için Spark seçimi
Uçtan uca analiz not defterinin tamamlanması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Colab Kurulumu

Colab'da PySpark kurup SparkSession başlatırsınız.

✅

Veri Okuma

CSV, JSON ve Parquet'i şema ile DataFrame'e okursunuz.

✅

Dönüşüm

select, filter ve withColumn ile veriyi dönüştürürsünüz.

✅

Agregasyon

groupBy ve agg ile özet istatistikler üretirsiniz.

✅

Birleştirme

join ve union ile veri setlerini birleştirirsiniz.

✅

Spark SQL

Temp view üzerinde SQL sorguları yazarsınız.

✅

Pencere Fonksiyonu

Window ile sıralama ve kümülatif analiz yaparsınız.

✅

Görselleştirme

Sonuçları pandas/matplotlib ile grafiğe dökersiniz.

Kimler İçin Uygundur?

Veri analistleri
öğrenciler
Python bilen
küme kurmadan Spark öğrenmek isteyenler ile bulut tabanlı analiz yapmak isteyenler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Python bilen veri analistleri, öğrenciler ve küme kurmadan Spark öğrenmek isteyenler için uygundur.

Bilgisayarıma kurulum gerekiyor mu?

Hayır; Spark Google Colab bulutunda çalışır, yalnızca tarayıcı ve bir Google hesabı gerekir.

Python bilmek şart mı?

Temel Python bilgisi (değişken, liste, fonksiyon) PySpark örneklerini takip etmek için gereklidir.

Gerçek büyük veri mi işliyoruz?

Örnek veri setleri kullanılır; Colab kaynak sınırları nedeniyle odak Spark API'sini doğru kullanmayı öğrenmektir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BİG DATA COLAB VE APACHE SPARK İLE ANALİZLER GOOGLE EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Colab Ortamı

SparkSession

Veri Okuma

DataFrame Temelleri

Filtreleme ve Seçim

Sütun İşlemleri

Gruplama ve Agregasyon

Birleştirme ve Eksik Veri

Spark SQL

Pencere Fonksiyonları

Görselleştirme

Kayıt ve Performans

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Distributed Messaging with Apache Kafka Eğitimi

DS & ML with Spark and MLlib Eğitimi

Filtering Data Using Hadoop MapReduce Eğitimi

Foundations of Apache Kafka: Concepts, Architecture, & Core Principles Eğitimi

Getting Started with Hive Eğitimi