Log ve olay akışını Flume ile güvenle toplayın
Apache Flume ile dağıtık log ve olay toplama: ajan mimarisi, source-channel-sink yapılandırması, HDFS sink ile kalıcı taşıma, çok ajanlı topoloji ve interceptor ile zenginleştirme yapılandırma dosyalarıyla uygulamalı işlenir.
Flume ile dağıtık log ve olay toplama mimarisi
Bu eğitim, büyük hacimli log ve olay verisini çeşitli kaynaklardan toplayıp merkezî bir veri deposuna (HDFS, HBase) güvenilir biçimde taşıyan Apache Flume'u uçtan uca ele alır. Flume'un ajan (agent) mimarisini, source, channel ve sink bileşenlerini, olay (event) yapısını ve akış topolojilerini öğrenirsiniz. Spooling directory, exec, Avro ve Kafka source'ları; memory, file ve Kafka channel'ları; HDFS, HBase ve logger sink'leri yapılandırılır. Çok ajanlı akış (fan-in/fan-out), kanal seçici (channel selector), interceptor ile olay zenginleştirme ve filtreleme, güvenilirlik ve işlem (transaction) garantileri, batch boyutu ve geri basınç yönetimi işlenir. Örnekler Flume yapılandırma dosyaları üzerinde kurgulanır.
3 Gün. Her gün dört modül; kavram anlatımının ardından Flume yapılandırma dosyalarıyla akış kurulur.
Orta Seviye — Apache Flume ile veri toplama: source-channel-sink mimarisi, log ve olay akışının HDFS'e güvenilir aktarımı.
Flume ajan yapılandırma dosyaları yazılarak log ve olay akışları HDFS'e aktarılıp uygulamalı test edilir.
Log ve olayları kayıpsız, işlem garantili biçimde merkeze taşırsınız.
Fan-in/fan-out akışlarla ölçeklenebilir toplama mimarisi kurarsınız.
Interceptor ile olayları akış sırasında filtreler ve zenginleştirirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Komut satırı, log dosyaları ve servis yönetimine aşinalık gerekir.
HDFS ve dağıtık depolama kavramlarına aşinalık faydalıdır.
Property/anahtar-değer yapılandırma mantığını bilmek örnekleri kolaylaştırır.
Apache Flume ve erişilebilir bir HDFS/Hadoop ortamı.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Source-channel-sink akış modelini ve ajan yapısını açıklarsınız.
Bir Flume ajanı kurup uçtan uca olay akışını doğrularsınız.
Spooldir, taildir ve Avro gibi source'ları yapılandırırsınız.
Memory ve file channel arasında dayanıklılık dengesini kurarsınız.
Log verisini dosya döndürme ve bölümlemeyle HDFS'e taşırsınız.
İşlem garantileriyle veriyi kayıpsız biçimde aktarırsınız.
Fan-in/fan-out ve çok atlamalı akış topolojileri tasarlarsınız.
Olayları zaman, host ve regex interceptor'larla zenginleştirirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Veri türleri, ölçek düzeyleri, veri yaşam döngüsü, temel SQL ve elektronik tablo analizini sıfırdan uygulamalı öğreten temel eğitim.
Detayları Gör →
Mahremiyet, rıza, algoritmik önyargı, adalet ve KVKK/GDPR temelli sorumlu veri kullanımını iş profesyonelleri için uygulamalı öğretir.
Detayları Gör →
Keşifçi veri analizi, tanımlayıcı istatistik, korelasyon ve seaborn görselleştirmelerini pandas ile uçtan uca uygulamalı öğretir.
Detayları Gör →
R ve tidyverse ile keşif analizi: dplyr veri işleme, tidyr düzenli veri ve ggplot2 görselleştirmeyi RStudio'da uygulamalı öğretir.
Detayları Gör →
Hue arayüzüyle Hive/Impala sorgulama, HDFS dosya yönetimi ve Oozie iş akışı tasarımını uygulamalı olarak öğreten Hadoop eğitimi.
Detayları Gör →