Data Repository with HDFS & HBase Eğitimi

Eğitim Hakkında

HDFS blok ve NameNode mimarisinden HBase sütun ailesi modeli ve region yönetimine

Data Repository with HDFS & HBase Eğitimi, Hadoop ekosisteminde büyük veriyi depolamak için HDFS dosya sistemi ile HBase NoSQL veritabanını birlikte kullanmayı öğretir. Katılımcılar HDFS blok mimarisini, NameNode ve DataNode rollerini, replikasyon ve dayanıklılığı kavrar. HBase sütun ailesi modelini, satır anahtarı tasarımını ve region yapısını öğrenir. LSM ağacı, MemStore, WAL ve HFile depolama motoru, ZooKeeper koordinasyonu ve veri erişimi uygulamalı ele alınır.

Süre ve Format

3 Gün. Her gün dört modül; HDFS mimarisinden HBase veri modeli, depolama motoru ve veri erişimine kadar uygulamalı ilerlenir.

Seviye

Orta Seviye — HDFS blok mimarisi ve HBase sütun ailesi modeliyle büyük veri deposu tasarımı

Öğrenme Metodu

Her konu gerçek bir Hadoop/HBase kümesi, HDFS komutları ve HBase shell üzerinde canlı örnek ve senaryolarla adım adım uygulanır.

Neden Bu Eğitim?

🗄️Ölçeklenebilir depolama

HDFS blok mimarisiyle petabyte seviyesinde veriyi sıradan donanım üzerinde dağıtık ve dayanıklı biçimde saklamayı öğrenirsiniz.

⚡Rastgele erişim

HBase ile toplu işleme dünyasına gerçek zamanlı okuma ve yazma ekleyerek büyük veride hızlı rastgele erişim kurarsınız.

🔧Doğru veri modeli

Satır anahtarı ve sütun ailesi tasarımının performansa etkisini öğrenerek hotspot oluşturmayan ölçeklenebilir tablolar kurarsınız.

Anahtar Konular

hdfs eğitimihbase eğitimihadoop eğitimibüyük veri eğitiminosql veritabanı eğitimihbase veri modellemehadoop hdfs kursubüyük veri depolama eğitimihbase region yönetimi

“Büyük veride dayanıklılık dosyayı bir yerde tutmaktan değil, HDFS'te çoğaltıp HBase'te doğru anahtarla erişilebilir kılmaktan gelir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Linux temeli

Linux komut satırı ve temel dosya sistemi kavramlarına hakimiyet gereklidir.

2

Veritabanı kavramları

Tablo, anahtar ve sorgu gibi temel veritabanı kavramlarına aşinalık öğrenmeyi kolaylaştırır.

3

Dağıtık sistem fikri

Dağıtık depolama ve replikasyon gibi kavramlara genel aşinalık faydalıdır.

4

Çalışma ortamı

Hadoop ve HBase kurulu bir test kümesine veya sanal ortama erişim uygulamalar için gereklidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı HDFS blok mimarisini kavrar, NameNode ve DataNode rollerini anlar, replikasyon ile dayanıklılığı öğrenir ve temel dosya sistemi işlemlerini uygular.

Modül 1

Hadoop ve HDFS'ye Giriş

Büyük veri kavramı ve Hadoop ekosistemi
HDFS'in dağıtık dosya sistemi yaklaşımı
Batch işleme ve write-once-read-many modeli
HDFS, MapReduce ve YARN ilişkisi
HDFS'in uygun ve uygun olmadığı senaryolar
HBase ile HDFS'in birlikte konumlanması

Modül 2

Blok Yapısı ve Depolama

HDFS blok kavramı ve varsayılan blok boyutu
Büyük blokların arama maliyetine etkisi
Dosyanın bloklara bölünüp dağıtılması
DataNode üzerinde blok yerleşimi
Blok raporu ve heartbeat mekanizması
Dosya boyutu ve küçük dosya problemi

Modül 3

NameNode ve DataNode Rolleri

NameNode'un metadata ve namespace yönetimi
fsimage ve edit log ile durum tutma
DataNode'un blok depolama görevi
Secondary NameNode ve checkpoint süreci
NameNode HA ve QJM ile yüksek erişilebilirlik
ZooKeeper ile otomatik failover

Modül 4

Replikasyon ve Dosya İşlemleri

Replikasyon faktörü ve veri dayanıklılığı
Rack-aware replika yerleşim stratejisi
Blok kaybında otomatik yeniden replikasyon
hdfs dfs komutlarıyla dosya yönetimi
put, get, ls ve rm ile temel işlemler
Balancer ile bloklar arası veri dengeleme

Günün hedefiKatılımcı HBase sütun ailesi modelini kavrar, satır anahtarı tasarımını uygular, region ve RegionServer mimarisini öğrenerek ölçeklenebilir tablolar tasarlar.

Modül 1

HBase Veri Modeli

Sparse, çok boyutlu sıralı map yapısı
Row key, column family ve column qualifier
Cell, timestamp ve sürüm (version) kavramı
Sütun ailesi bazlı fiziksel depolama
Şemasız sütun ve dinamik kolon ekleme
İlişkisel modelden temel farklar

Modül 2

Satır Anahtarı Tasarımı

Row key'in sözlük sırası (lexicographic) etkisi
Monotonik anahtar ve region hotspot sorunu
Salting ve hashing ile yük dağıtma
Reverse timestamp ile sıralama kontrolü
Composite (bileşik) row key tasarımı kararları
Erişim desenine göre anahtar seçimi

Modül 3

Region ve RegionServer

Tablonun region'lara bölünmesi
Region'ın row key aralığıyla tanımlanması
RegionServer'ın region barındırması
Otomatik region split ve büyüme
hbase:meta tablosu ve region konumu
Region dengeleme (balancer) mantığı

Modül 4

HBase Mimarisi ve Koordinasyon

HBase Master ve RegionServer rolleri
ZooKeeper ile küme koordinasyonu
İstemcinin region'ı bulma (lookup) süreci
HDFS üzerinde HBase veri yerleşimi
RegionServer failover ve kurtarma
Master HA ve genel küme sağlığı takibi

Günün hedefiKatılımcı LSM tabanlı depolama motorunu kavrar, MemStore, WAL ve HFile akışını anlar, compaction'ı yönetir ve HBase üzerinde veri erişim yöntemlerini uygular.

Modül 1

LSM ve Yazma Yolu

LSM (Log-Structured Merge) ağaç mantığı
Write Ahead Log (WAL) ile dayanıklılık
MemStore'da bellek içi biriktirme
Flush ile HFile'a yazma süreci
HFile'ın değişmez (immutable) yapısı
Yazma yoğun iş yükü için avantajları

Modül 2

Okuma Yolu ve Compaction

Okuma için MemStore ve HFile birleşimi
Block cache ve bloom filter kullanımı
Minor compaction ile HFile birleştirme
Major compaction ve tombstone temizliği
Compaction'ın I/O ve performans etkisi
TTL ve sürüm sayısıyla veri yaşam yönetimi

Modül 3

HBase Shell ve Veri İşlemleri

create ile tablo ve sütun ailesi tanımı
put komutu ile hücreye değer yazma
get komutu ile satır ve hücre okuma
scan ile aralık taraması ve filtreler
delete ile sürüm (version) bazlı silme
Tablo disable, drop ve alter işlemleri

Modül 4

Entegrasyon ve Toplu Yükleme

Java API ile programatik erişim
Bulk load ile HFile'ları doğrudan yükleme
MapReduce ve Spark ile HBase entegrasyonu
Phoenix ile SQL benzeri erişim
Snapshot ile yedekleme ve geri yükleme
Küme izleme ve performans takibi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

HDFS mimarisi

Blok yapısını, NameNode ve DataNode rollerini kavrar, HDFS'in büyük veriyi nasıl dağıtık ve dayanıklı sakladığını açıklarsınız.

✅

Replikasyon

Replikasyon faktörü ve rack-aware yerleşimi anlar, blok kaybında dayanıklılığın nasıl korunduğunu uygularsınız.

✅

HDFS işlemleri

hdfs dfs komutlarıyla dosya yükler, okur ve yönetir, balancer ile veri dengeleme gibi temel görevleri yürütürsünüz.

✅

HBase veri modeli

Sütun ailesi, satır anahtarı ve sürüm kavramlarını kavrar, HBase'in sparse map modelini doğru biçimde yorumlarsınız.

✅

Satır anahtarı tasarımı

Salting ve composite anahtar teknikleriyle hotspot'tan kaçınan, dengeli ve hızlı erişilebilen tablolar tasarlarsınız.

✅

Region yönetimi

Region, RegionServer ve split mekanizmasını kavrar, HBase kümesinin nasıl ölçeklendiğini ve dengelendiğini açıklarsınız.

✅

Depolama motoru

LSM, WAL, MemStore ve HFile akışını anlar, minor ve major compaction'ı iş yüküne göre yönetirsiniz.

✅

Veri erişimi

HBase shell ve API ile put, get ve scan yapar, bulk load ve Spark entegrasyonuyla veriyi verimli işlersiniz.

Kimler İçin Uygundur?

Büyük veri platformları kuracak veri mühendisleri
Hadoop yöneticileri
yüksek hacimli veriyi saklayacak backend ekipleri
HDFS ile HBase üzerinde çözüm tasarlayan mimarlar için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Büyük veri platformları kuracak veri mühendisleri, Hadoop yöneticileri, yüksek hacimli veriyi saklayacak backend ekipleri ve HDFS ile HBase üzerinde çözüm tasarlayan mimarlar için uygundur. Linux ve temel veritabanı bilgisi beklenir, derin Hadoop deneyimi gerekmez.

HDFS ile HBase arasındaki ilişki nedir?

HDFS, büyük dosyaları bloklara bölerek dağıtık ve dayanıklı biçimde saklayan bir dosya sistemidir; toplu işlemeye uygundur ama rastgele güncelleme sunmaz. HBase ise HDFS üzerinde çalışan, gerçek zamanlı okuma/yazma sağlayan bir NoSQL veritabanıdır. Eğitimde ikisinin nasıl birlikte konumlandığı örneklerle gösterilir.

Satır anahtarı (row key) tasarımı neden bu kadar önemli?

HBase verileri satır anahtarının sözlük sırasına göre region'lara dağıtır; monotonik artan bir anahtar tüm yazmayı tek region'a toplayarak hotspot yaratır. Salting, hashing ve composite anahtar teknikleriyle yük dengelenir. Eğitimde bu tasarım kararları erişim desenleriyle birlikte uygulamalı işlenir.

Eğitim online mı yoksa yüz yüze mi veriliyor?

Eğitim hem yüz yüze hem de online olarak verilebilir ve üç gün sürer. Her gün dört modülden oluşur; uygulamalar gerçek bir Hadoop/HBase kümesi veya sanal ortam üzerinde yapılır. İçerik kurumun kullandığı dağıtıma ve büyük veri senaryolarına göre uyarlanabilir.

Eğitim sonunda sertifika veriliyor mu?

Programı tamamlayan katılımcılar Digital Vizyon Akademi Katılım ve Başarı Sertifikası alır. Sertifika işlenen HDFS mimarisi, HBase veri modeli, region yönetimi ve depolama motoru konularını belgeler; kurumsal gruplara özel senaryolarla uyarlama yapılabilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika