Bulutta Hadoop Eğitimi

Eğitim Hakkında

Hadoop ekosisteminin bulutta çalıştırılması: yönetilen kümeler, nesne depolama ve maliyet optimizasyonu

Bu eğitim, Hadoop ekosisteminin bulut ortamında çalıştırılmasını ele alır. HDFS, YARN, MapReduce, Hive ve Spark bileşenleri, Amazon EMR, Google Dataproc ve Azure HDInsight kümeleri, S3A ve GCS connector ile nesne depolamaya erişim, hesaplama ve depolamanın ayrıştırılması, geçici küme deseni, Spot kullanımı, güvenlik, Hive Metastore ve şirket içi Hadoop dan bulut göçü uygulamalı gösterilir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde altı konu başlığı, küme kurulum laboratuvarı, Spark ve Hive iş çalıştırma ve maliyet karşılaştırması.

Seviye

Orta Seviye — Hadoop ekosisteminin bulutta çalıştırılması: yönetilen kümeler, nesne depolama ve maliyet optimizasyonu

Öğrenme Metodu

Bulut yönetilen Hadoop kümesi kurulur, Spark ve Hive işleri nesne depolama üzerinde çalıştırılır ve maliyet senaryoları karşılaştırılır.

Neden Bu Eğitim?

🎯Konuya Odaklı İçerik

Şirket içi Hadoop bilgisinin buluta hangi farklarla taşındığını net olarak görürsünüz.

🛠️Uygulamalı Çalışma

Geçici küme ve nesne depolama deseni gerçek veriyle uygulanır.

📈Kariyer ve Proje Değeri

Hadoop iş yüklerini buluta taşımak, büyük veri altyapısı maliyetini düşürmede yaygın bir ihtiyaçtır.

Anahtar Konular

Bulutta Hadoop eğitimibulutta hadoop kursuHadoop bulutAmazon EMRDataprocHDInsightSparkHiveS3A bağlayıcı

“Bulutta Hadoop, kümeyi değil veriyi kalıcı kılmaktır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Hadoop veya Spark Bilgisi

HDFS ve temel Spark ya da Hive kullanımı bilinmelidir.

2

Linux ve SQL

Komut satırı ve SQL sorgu bilgisi beklenir.

3

Laboratuvar Ortamı

Tarayıcı, SSH/terminal istemcisi ve internet erişimi olan bir bilgisayar yeterlidir; uygulamalar için gerekli bulut ortamı eğitim sırasında yönlendirilir.

4

Çalışma Disiplini

Her gün sonunda ilgili dokümantasyon bölümlerinin gözden geçirilmesi ve laboratuvarların tekrarlanması öğrenmeyi belirgin biçimde pekiştirir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı gün sonunda yönetilen Hadoop kümesi kurup iş çalıştırabilir.

Modül 1

Hadoop Bileşenleri

HDFS NameNode ve DataNode
YARN ResourceManager ve kuyruk
MapReduce ve Tez çalışma modeli
Hive ve HiveQL
Spark ve Spark SQL
Oozie, Airflow ve zamanlayıcılar

Modül 2

Amazon EMR

EMR küme mimarisi: master, core, task
Uygulama paketleri ve bootstrap
EMR Studio ve notebook
Instance fleet ve Spot
Auto scaling politikası
EMR on EKS ve Serverless

Modül 3

Google Dataproc ve HDInsight

Dataproc küme ve şablon
Dataproc Serverless for Spark
Component Gateway
HDInsight küme türleri
Karşılaştırma tablosu
Dataproc Metastore

Modül 4

Nesne Depolama Entegrasyonu

S3A ve GCS connector
ABFS ve Azure Data Lake
Tutarlılık ve rename maliyeti
Dosya biçimleri: Parquet, ORC
Bölümleme ve küçük dosya sorunu
Veri gölü dizin tasarımı

Günün hedefiKatılımcı gün sonunda maliyet etkin ve güvenli bir bulut Hadoop mimarisi ile göç planı sunabilir.

Modül 1

Geçici Küme Deseni

İş başına küme açma ve silme
Küme şablonları
Orkestrasyon: Airflow ve Step Functions
Ortak Hive Metastore
Giriş-çıkış verisi nesne depoda
Hata ve yeniden deneme

Modül 2

Maliyet Optimizasyonu

Spot ve preemptible node
Rightsizing ve otomatik ölçekleme
Spark yapılandırma ayarı
Depolama sınıfı kullanımı
Maliyet etiketleme
Hesaplama ve depolama ayrışmasının getirisi

Modül 3

Güvenlik

IAM ve servis hesabı rolleri
Kerberos ve Ranger kavramı
Lake Formation ve Dataplex
Şifreleme: bekleyen ve aktarımdaki veri
VPC ve özel bağlantı
Denetim logları

Modül 4

Şirket İçi Hadoop dan Göç

Envanter: iş, veri, bağımlılık
DistCp ve veri aktarım araçları
Hive tablolarının taşınması
Ranger politikalarının dönüşümü
Paralel çalıştırma ve doğrulama
Kesinti ve geri dönüş planı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Yönetilen Küme Kurulumu

EMR veya Dataproc kümesi oluşturabilirsiniz.

☁️

Depolama Ayrıştırma

Nesne depolama üzerinde veri gölü tasarlayabilirsiniz.

🔧

Spark İşleri

Spark işlerini bulut kümesinde çalıştırabilirsiniz.

📊

Hive Metastore

Paylaşımlı metastore kurabilirsiniz.

🛡️

Geçici Küme Deseni

İş başına küme açıp kapatabilirsiniz.

🧩

Spot Kullanımı

Task node larda Spot ile maliyet düşürebilirsiniz.

🚀

Küme Güvenliği

Kerberos, IAM ve şifrelemeyi uygulayabilirsiniz.

🧪

Göç Planı

Şirket içi Hadoop dan buluta geçiş planı yapabilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
Hadoop yöneticileri
bulut mimarları
büyük veri platformunu buluta taşıyan ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, Hadoop yöneticileri, bulut mimarları ve büyük veri platformunu buluta taşıyan ekipler için uygundur.

Bulutta Hadoop eğitimi kaç gün sürer ve nasıl işlenir?

Eğitim 2 gün sürer. Günlük başlıklar: Hadoop Ekosistemi ve Yönetilen Kümeler, Maliyet, Güvenlik ve Göç. Bulut yönetilen Hadoop kümesi kurulur, Spark ve Hive işleri nesne depolama üzerinde çalıştırılır ve maliyet senaryoları karşılaştırılır.

Hangi bulut hizmetleri kullanılır?

Amazon EMR, Google Dataproc ve Azure HDInsight örnekleri karşılaştırmalı olarak gösterilir.

HDFS bulutta hâlâ gerekli mi?

Kalıcı veri için nesne depolama tercih edilir; HDFS geçici ara veri için kullanılır. Bu ayrım eğitimde laboratuvarla gösterilir.

Eğitim sonunda sertifika verilir mi?

Eğitimi tamamlayan katılımcılar Digital Vizyon Akademi Katılım ve Başarı Sertifikası alır.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

HADOOP IN THE CLOUD EĞİTİMİ