Büyük veri platformunu güvenle ve ölçekli işlet
Büyük veri platformlarının operasyonel yönetimine odaklanan ileri seviye eğitim: YARN kaynak kuyrukları ve scheduler'lar, Airflow/Oozie orkestrasyon ve SLA, veri kataloğu/soy/kalite yönetişimi, Kerberos ve Ranger güvenlik, izleme ve loglama, yedekleme/DR ve k…
Küme kaynak yönetimi, orkestrasyon, yönetişim, güvenlik ve maliyet
Bu ileri seviye eğitim, büyük veri platformlarının günlük operasyonel yönetimine odaklanır. Katılımcılar YARN ile küme kaynaklarının (CPU/bellek) kuyruk tabanlı paylaşımını, kapasite ve fair scheduler'ları; Airflow/Oozie ile iş akışı orkestrasyonunu ve SLA izlemeyi uygular. Veri yönetişimi tarafında veri kataloğu, soy (lineage), şema yönetimi ve veri kalitesi kuralları; güvenlik tarafında Kerberos, Ranger/sentry ile yetkilendirme ve şifreleme işlenir. İzleme, log toplama, kapasite planlaması, yedekleme/kurtarma ve bulut ile şirket içi büyük veri maliyet optimizasyonu ele alınır. Eğitim, olay müdahalesi (incident) ve kapasite büyütme kararlarıyla tamamlanır.
4 Gün. Her gün dört modül; kaynak yönetiminden orkestrasyona, yönetişim ve güvenlikten maliyet optimizasyonuna ilerlenir.
İleri Seviye — Büyük veri platformlarının operasyonel yönetimi: küme kaynak yönetimi, iş zamanlama, veri yönetişimi, izleme ve maliyet optimizasyonu.
Katılımcılar gerçek bir kümede kuyruk ve zamanlama ayarları yapar, iş akışlarını orkestre eder ve izleme/kapasite senaryolarını uygulamalı çözer.
YARN kuyrukları ve scheduler'larla küme kaynaklarını adil ve verimli paylaştırırsınız.
Veri kataloğu, soy ve kalite kurallarıyla güvenilir veri operasyonu kurarsınız.
Kapasite planlaması ve optimizasyonla büyük veri maliyetini kontrol edersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
HDFS, YARN ve Spark/Hive kavramlarına aşinalık güçlü biçimde faydalıdır.
Linux sistem yönetimi ve servis kavramlarına aşinalık beklenir.
Sistem izleme ve sorun giderme deneyimi faydalıdır.
Bir büyük veri kümesi veya bulut ortamına yönetici erişimi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
YARN kuyrukları ve scheduler'larla kaynağı adil paylaştırırsınız.
Airflow/Oozie ile karmaşık iş akışlarını DAG olarak yönetirsiniz.
İş süreleri ve SLA ihlallerini izleyip müdahale edersiniz.
Veri kataloğu, soy ve kalite kurallarını platforma uygularsınız.
Kerberos ve Ranger ile kimlik ve yetkilendirmeyi kurarsınız.
Metrik ve log toplama ile platform sağlığını sürekli izlersiniz.
Snapshot, DistCp ve DR planıyla veri dayanıklılığı sağlarsınız.
Kapasite planlaması ve tiering ile maliyeti optimize edersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Apache Kafka'yı mimariden üretime: topic, partition, producer/consumer API, exactly-once, Kafka Streams ve Connect ile uygulamalı olay akışı eğitimi.
Detayları Gör →
Hadoop üzerinde HiveQL ile SQL benzeri sorgulama ve Pig Latin ile veri akışı programlamayı uygulamalı öğrenin: partition, UDF ve uçtan uca ETL.
Detayları Gör →
Hive sorgularını partition pruning, bucketing, ORC/Parquet ve Tez ayarlarıyla hızlandırın. EXPLAIN plan okuma ve CBO ile ileri optimizasyon eğitimi.
Detayları Gör →
Veri analitiği temelleri, SQL ve Python (pandas) ile analiz ve Hadoop/Spark ile büyük veri işlemeyi uçtan uca öğrenin. Uygulamalı giriş eğitimi.
Detayları Gör →
Hive'da ARRAY, MAP, STRUCT ve JSON gibi iç içe veriyi LATERAL VIEW, explode ve get_json_object ile modelleyip sorgulamayı uygulamalı öğrenin.
Detayları Gör →