Hadoop ekosisteminde veriyi uçtan uca akıt
Hadoop ekosisteminde uçtan uca veri akışı kurmayı öğreten orta seviye eğitim: batch/stream alım desenleri, Sqoop ile RDBMS aktarımı, Flume ve Kafka ile akan veri, Apache NiFi ile görsel akış, HDFS landing ve dönüşüm katmanları, Oozie ve Airflow ile orkestrasy…
Ingestion, Flume/Kafka/NiFi, Sqoop ve orkestrasyon
Bu orta seviye eğitim, Hadoop ekosisteminde verinin kaynaktan analize akışını (data flow) uçtan uca ele alır. Veri alım desenleri (batch ve stream), Sqoop ile ilişkisel veritabanı aktarımı, Flume ile log toplama, Kafka ile mesaj akışı ve Apache NiFi ile görsel akış tasarımı işlenir. HDFS'e landing, format ve bölümleme (partition) kararları, Hive/Spark ile dönüşüm katmanları uygulanır. Oozie ve Apache Airflow ile iş akışı orkestrasyonu, bağımlılık yönetimi, zamanlama, yeniden deneme ve izleme ele alınır. Veri akışında güvenilirlik, idempotency ve hata yönetimi vurgulanır. Katılımcılar bir kaynaktan HDFS'e ve dönüşüme uzanan uçtan uca bir veri akışı tasarlayıp orkestre eder.
3 Gün. Her gün dört modül; katılımcılar veri alımından dönüşüm ve orkestrasyona akışı aşamalı kurar.
Orta Seviye — Hadoop ekosisteminde veri akışı: ingestion, Flume/Kafka/NiFi, Sqoop, dönüşüm ve orkestrasyonun ele alınması.
Katılımcılar Sqoop, Flume/Kafka ve NiFi ile veri alıp Oozie/Airflow ile orkestre ederek uçtan uca bir akış kurar.
Sqoop, Flume, Kafka ve NiFi ile her kaynaktan veri alırsınız.
Landing'den dönüşüme katmanlı bir veri akışı tasarlarsınız.
Oozie/Airflow ile akışı zamanlar ve izlersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
HDFS, Hive ve Spark kavramlarına aşinalık beklenir.
Sqoop ve dönüşüm modüllerinde temel SQL faydalıdır.
Komut satırı kullanımı yararlıdır.
Hadoop ekosistem araçlarına erişimi olan bir ortam.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Batch/stream ve artımlı alım desenlerini seçersiniz.
Sqoop ile RDBMS ve HDFS arasında veri taşırsınız.
Flume ve Kafka ile log ve akan veri alırsınız.
NiFi ile görsel, izlenebilir akışlar tasarlarsınız.
Hive/Spark ile katmanlı dönüşüm kurarsınız.
Oozie workflow ve coordinator ile akışı planlarsınız.
Airflow DAG'leriyle akışı orkestre edersiniz.
Retry, idempotency ve izlemeyle akışı dayanıklı kılarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Büyük verinin ne olduğunu, kaynaklarını, 5V özelliklerini ve sektörel değerini teknik ayrıntıya girmeden örneklerle öğrenin. Başlangıç seviyesi eğitim.
Detayları Gör →
Büyük veri stratejisi, olgunluk değerlendirmesi, kullanım senaryosu önceliklendirme, ROI ve yol haritasıyla danışmanlık yapmayı öğrenin. Orta seviye eğitim.
Detayları Gör →
Büyük verinin temel kavramlarını, iş ve teknoloji itici güçlerini ve analitik tekniklerini öğrenin: 5V, veri madenciliği, ML ve görselleştirme. Temel seviye eği
Detayları Gör →
Büyük verinin temellerini uygulamalı öğrenin: 5V, HDFS, YARN, MapReduce, Spark, Hive ve Kafka ile dağıtık depolama ve işleme. Temel seviye DVA eğitimi.
Detayları Gör →
Hadoop üzerinde katmanlı bir içgörü mimarisi kurun: veri modelleme, Data Vault, entegrasyon, MDM, kalite, Hive/Impala servisi ve yönetişim. İleri seviye eğitim.
Detayları Gör →