Büyük verinin temellerini uygulamalı kur
Büyük verinin temellerini kavramdan uygulamaya kuran temel seviye eğitim: 5V, veri türleri, HDFS blok ve replikasyon, YARN, MapReduce ve Spark bellek içi işleme, Hive sorgulama, Kafka akan veri ve basit uçtan uca bir veri hattı tasarımı.
Kavramlar, HDFS/Spark mimarisi ve ekosistem temelleri
Bu temel seviye eğitim, büyük verinin temellerini kavramdan mimariye uygulamalı biçimde kurar. 5V özellikleri, veri türleri ve yatay ölçeklenme gerekçesi; HDFS'in blok ve replikasyon mantığı, YARN kaynak yönetimi ve Spark'ın bellek içi işleme modeli işlenir. Batch ve stream işleme ayrımı, veri gölü/ambarı farkı, Hive ile SQL tabanlı sorgulama ve Kafka'nın akan veri rolü tanıtılır. Katılımcılar basit örneklerle HDFS'e veri yükler ve Spark ile temel dönüşümler yaparak kavramları pratikte görür. Eğitim, ileri büyük veri eğitimlerine geçiş için gereken sağlam zemini oluşturur.
3 Gün. Her gün dört modül; katılımcılar kavramlardan mimariye ve basit uygulamalara doğru ilerler.
Temel Seviye — Büyük verinin temel kavramları, dağıtık depolama/işleme mimarisi ve ekosistem araçlarının uygulamalı tanıtımı.
Katılımcılar temel kavramları küçük uygulamalı örneklerle (HDFS komutları, basit Spark işleri) deneyerek öğrenir.
Büyük veri kavram ve mimarisini uygulamalı örneklerle içselleştirirsiniz.
Dağıtık depolama ve bellek içi işlemeyi temelden kavrarsınız.
İleri Hadoop/Spark eğitimlerine geçiş zeminini kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Python veya başka bir dilde temel kodlama faydalıdır.
SELECT ve WHERE gibi temel SQL bilgisi Hive modüllerinde yararlıdır.
Temel komut satırı kullanımı HDFS örneklerinde faydalıdır.
Örnekleri denemek için bir bilgisayar veya bulut erişimi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
5V ve büyük veri kavramlarını doğru kullanırsınız.
HDFS depolama mantığını kavrar ve komutlarla yönetirsiniz.
Kaynak yönetimi ve iş çalıştırma mantığını anlarsınız.
RDD/DataFrame ile temel Spark işlemleri yaparsınız.
HiveQL ile SQL tabanlı sorgular yazarsınız.
Topic/partition ile akan veri temelini kavrarsınız.
Sqoop ve ingestion yaklaşımlarını tanırsınız.
Basit uçtan uca bir veri akışı tasarlarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Python ve pandas ile veri analizine başlayın, pandas sınırlarını görüp Spark'a geçerek büyük veriyle tanışın. Pratik, temel seviye DVA eğitimi.
Detayları Gör →
Spark ile büyük veri temizleme: profilleme, eksik ve aykırı değer yönetimi, standartlaştırma, doğrulama ve yeniden kullanılabilir hazırlık pipeline'ı. Orta sevi
Detayları Gör →
Hadoop ekosisteminde veri akışı kurun: Sqoop, Flume, Kafka ve NiFi ile alım, Hive/Spark ile dönüşüm, Oozie/Airflow ile orkestrasyon. Orta seviye eğitim.
Detayları Gör →
Apache Sqoop ile RDBMS ve Hadoop arasında import/export, artımlı aktarım, Hive/HBase yükleme ve Sqoop job otomasyonu öğrenin. Orta seviye DVA eğitimi.
Detayları Gör →
Spark ile veri dönüşümü: tüm join türleri ve stratejileri, pivot/rollup agregasyonları ve pencere fonksiyonları ile performans ayarı. Orta seviye eğitim.
Detayları Gör →