NoSQL, NewSQL, Hadoop ve Spark Eğitimi

Eğitim Hakkında

NoSQL ve NewSQL veritabanlarından Hadoop ve Spark ekosistemine karşılaştırmalı bakış

New Big Database Technologies: From NoSQL to NewSQL, and from Hadoop to Spark Eğitimi, modern büyük veri teknolojilerini karşılaştırmalı bir çerçevede inceler. NoSQL ailesi (key-value, doküman, kolon, graf), CAP teoremi ve BASE yaklaşımı kavranır. NewSQL ve dağıtık SQL sistemlerinin (Spanner, CockroachDB, TiDB) ölçekli ACID vaadi öğrenilir. Hadoop (HDFS, MapReduce, YARN) ile Apache Spark'ın bellek içi işleme ve Spark SQL yetenekleri işlenerek teknoloji seçimi hedeflenir.

Süre ve Format

3 Gün. Her gün dört modül; NoSQL ve CAP teoreminden NewSQL ve dağıtık SQL'e, oradan Hadoop ve Spark ekosistemine ilerlenir.

Seviye

Orta Seviye — NoSQL, NewSQL ve dağıtık SQL ile Hadoop'tan Spark'a büyük veri teknolojilerinin karşılaştırmalı incelemesi

Öğrenme Metodu

Her teknoloji gerçek örnekler, mimari karşılaştırmalar ve Spark ile uygulamalı veri işleme demolarıyla adım adım ele alınır.

Neden Bu Eğitim?

🗺️Bütüncül harita

NoSQL, NewSQL, Hadoop ve Spark'ı tek çerçevede görerek büyük veri dünyasının bütününü ve aralarındaki ilişkileri kavrarsınız.

⚖️Doğru seçim

CAP teoremi ve iş gereksinimlerine göre doğru veritabanı ve işleme teknolojisini seçme yetkinliği kazanırsınız.

🔥Spark ile işleme

Hadoop'tan Spark'a geçişi anlar, bellek içi işleme, DataFrame ve Spark SQL ile büyük veriyi hızla işlersiniz.

Anahtar Konular

büyük veri eğitiminosql eğitiminewsql eğitimiapache spark eğitimihadoop eğitimidağıtık sqlcap teoremispark sql eğitimibig data teknolojileriveri mühendisliği eğitimi

“Büyük veride doğru soru 'hangi teknoloji en iyi' değil, 'bu iş yükü için hangisi en uygun'dur; bu eğitim o seçimi bilinçli kılar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Veritabanı temeli

İlişkisel veritabanı, SQL ve temel sorgu kavramlarına genel aşinalık öğrenmeyi kolaylaştırır.

2

Dağıtık sistem fikri

Sunucu, ağ ve ölçekleme gibi temel dağıtık sistem kavramlarına genel aşinalık faydalıdır.

3

Programlama bilgisi

Python, Scala veya Java gibi bir dile temel aşinalık Spark alıştırmalarında yardımcı olur.

4

Çalışma ortamı

Spark kurulu yerel ortam veya bulut tabanlı bir notebook erişimi uygulamalar için gereklidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı NoSQL veritabanı ailelerini ayırt eder, CAP teoremi ve BASE yaklaşımını kavrar, tutarlılık modellerini karşılaştırır ve uygun NoSQL türünü seçer.

Modül 1

İlişkiselden NoSQL'e Geçiş

Büyük verinin 3V'si: volume, velocity, variety
İlişkisel modelin ölçekleme sınırları
Scale-up ile scale-out ölçekleme farkı
Şemasız ve esnek veri modeli ihtiyacı
NoSQL'in ortaya çıkış nedenleri
Polyglot persistence yaklaşımı

Modül 2

NoSQL Veritabanı Aileleri

Key-value depolar (Redis, DynamoDB)
Doküman veritabanları (MongoDB, Couchbase)
Kolon ailesi (Cassandra, HBase)
Graf veritabanları (Neo4j, JanusGraph)
Her ailenin güçlü kullanım senaryosu
Veri modeline göre teknoloji seçimi

Modül 3

CAP Teoremi ve Tutarlılık

Consistency, Availability, Partition tolerance
CP ve AP sistemlerin tercih farkları
BASE ile ACID yaklaşımının karşılaştırması
Eventual consistency ve tutarlılık dereceleri
Quorum, read/write tutarlılık ayarı
PACELC ile CAP'in genişletilmesi

Modül 4

Dağıtık Veri ve Replikasyon

Sharding ile veriyi yatay bölme
Consistent hashing ve veri dağıtımı
Replikasyon ve çoğaltma stratejileri
Çakışma çözümü (conflict resolution)
Vector clock ve sürüm (versiyon) yönetimi
Yüksek erişilebilirlik tasarım kararları

Günün hedefiKatılımcı NewSQL'in neden doğduğunu kavrar, dağıtık SQL mimarilerini inceler, ölçekli ACID ve dağıtık transaction mekanizmalarını öğrenir ve NoSQL ile karşılaştırır.

Modül 1

NewSQL'in Doğuşu

NoSQL'in ACID ve SQL eksikliğinin sorunları
NewSQL'in hedefi: SQL + yatay ölçekleme
OLTP için ölçekli tutarlılık ihtiyacı
NewSQL ile geleneksel RDBMS farkı
In-memory ve yeni depolama motorları
NewSQL için tipik kullanım senaryoları

Modül 2

Dağıtık SQL Sistemleri

Google Spanner ve TrueTime kavramı
CockroachDB mimarisi ve dağıtımı
TiDB ve HTAP (hibrit) yaklaşımı
YugabyteDB ve uyumluluk katmanları
VoltDB ile bellek içi OLTP işleme
Sistemlerin karşılaştırmalı değerlendirmesi

Modül 3

Ölçekli ACID ve Transaction

Dağıtık transaction ve iki fazlı commit
Consensus protokolleri: Paxos ve Raft
Saat senkronizasyonu ve zaman damgası
Serializable izolasyon ve tutarlılık
Dağıtık kilitler ve çakışma yönetimi
Gecikme ve tutarlılık dengesinin yönetimi

Modül 4

NoSQL ile NewSQL Karşılaştırması

Tutarlılık, ölçek ve SQL desteği ekseni
Hangi iş yüküne hangi sistem uygun
OLTP, OLAP ve HTAP iş yükü ayrımı
Geçiş maliyeti ve ekosistem olgunluğu
Bulut yönetilen hizmet seçenekleri
Karar matrisi ile teknoloji seçimi

Günün hedefiKatılımcı Hadoop ekosistemini ve sınırlarını kavrar, Apache Spark'ın bellek içi işleme modelini öğrenir, DataFrame ve Spark SQL ile veri işler ve streaming senaryosu kurar.

Modül 1

Hadoop Ekosistemi

HDFS ile dağıtık dosya depolama
MapReduce programlama modeli ve sınırları
YARN ile küme düzeyinde kaynak yönetimi
Hive ile SQL benzeri sorgulama
HBase, Pig ve ekosistem bileşenleri
Hadoop'un disk tabanlı işleme sınırları

Modül 2

Apache Spark Temelleri

Spark'ın bellek içi işleme avantajı
RDD kavramı ve dayanıklılık (lineage)
Transformation ve action ayrımı
Lazy evaluation ve DAG yürütme
Driver, executor ve cluster manager
MapReduce'a göre performans kazanımı

Modül 3

DataFrame, Spark SQL ve Dataset

DataFrame API ile yapılandırılmış veri
Spark SQL ile yapılandırılmış sorgulama
Catalyst optimizer ve Tungsten motoru
Veri kaynakları: Parquet, ORC, JSON
Partitioning ve shuffle yönetimi
Dataset ve tip güvenliği (Scala/Java)

Modül 4

Spark Streaming ve Ekosistem

Structured Streaming ile akış işleme
Kafka ile gerçek zamanlı veri alma
Window ve watermark ile zaman yönetimi
MLlib ile ölçekli makine öğrenmesi
Delta Lake ve lakehouse yaklaşımı
Batch ve streaming birleşik işleme

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

NoSQL aileleri

Key-value, doküman, kolon ve graf veritabanlarını ayırt eder, her ailenin güçlü kullanım senaryosunu belirlersiniz.

✅

CAP teoremi

CAP teoremi, BASE ve eventual consistency ile CP/AP tercihlerini kavrayarak dağıtık veri kararlarını verirsiniz.

✅

NewSQL vaadi

NewSQL'in neden doğduğunu ve SQL ile yatay ölçeklemeyi nasıl birleştirdiğini kavrar, kullanım anlarını belirlersiniz.

✅

Dağıtık SQL

Spanner, CockroachDB ve TiDB gibi sistemleri ve Paxos/Raft ile ölçekli ACID mekanizmalarını karşılaştırırsınız.

✅

Hadoop ekosistemi

HDFS, MapReduce ve YARN'ı kavrar, Hadoop'un disk tabanlı işleme sınırlarını ve ekosistem bileşenlerini değerlendirirsiniz.

✅

Apache Spark

Spark'ın bellek içi modelini, RDD, DAG ve lazy evaluation'ı öğrenerek büyük veriyi yüksek hızla işlersiniz.

✅

DataFrame ve SQL

DataFrame API ve Spark SQL ile yapılandırılmış veriyi sorgular, Catalyst optimizasyonundan yararlanırsınız.

✅

Teknoloji seçimi

İş yüküne göre NoSQL, NewSQL, Hadoop ve Spark arasında doğru teknolojiyi karar matrisiyle seçersiniz.

Kimler İçin Uygundur?

Büyük veri mimarisi tasarlayan veri mühendisleri
çözüm ve veri mimarları
veri platformu seçiminden sorumlu teknik liderler
backend geliştiriciler
modern veri teknolojilerini karşılaştırmalı öğrenmek isteyen analistler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Büyük veri mimarisi tasarlayan veri mühendisleri, çözüm ve veri mimarları, veri platformu seçiminden sorumlu teknik liderler ve modern veri teknolojilerini karşılaştırmalı öğrenmek isteyen geliştiriciler için uygundur. Temel SQL ve dağıtık sistem fikri yeterlidir; derin önceden deneyim gerekmez.

NewSQL ile NoSQL arasındaki temel fark nedir?

NoSQL, ölçek ve esneklik için çoğunlukla güçlü tutarlılık ve SQL'den ödün verir (BASE). NewSQL ise geleneksel SQL'in ACID garantilerini korurken yatay ölçeklemeyi hedefler; Spanner, CockroachDB ve TiDB bunun örnekleridir. Eğitimde bu fark CAP teoremi ve iş yükü üzerinden karar matrisiyle somutlaştırılır.

Spark neden Hadoop MapReduce'un yerini aldı?

MapReduce her adımda veriyi diske yazdığı için yinelemeli ve etkileşimli işlerde yavaş kalır. Spark, ara sonuçları bellekte tutarak (in-memory) ve DAG tabanlı yürütmeyle aynı işleri çok daha hızlı yapar; DataFrame, Spark SQL ve streaming ile tek çatı sunar. Eğitimde bu geçiş demolarla gösterilir.

Eğitim online mı yoksa yüz yüze mi veriliyor?

Eğitim hem yüz yüze hem online olarak verilebilir ve üç gün sürer. Her gün dört modülden oluşur; içerik kurumun veri yığınına, kullandığı NoSQL/NewSQL sistemlerine ve Spark ortamına göre uyarlanır. Spark alıştırmaları yerel ortam veya bulut notebook üzerinde yapılır.

Eğitim sonunda sertifika veriliyor mu?

Programı tamamlayan katılımcılar Digital Vizyon Akademi Katılım ve Başarı Sertifikası alır. Sertifika NoSQL, CAP teoremi, NewSQL, dağıtık SQL, Hadoop ve Apache Spark konularını belgeler. İlgili ürünlerin resmi sınavlarına girmek isteyenler için sınav başvurusu ve ücreti ilgili kuruma aittir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika