LOGSTASH FOR DATA INGESTION EĞİTİMİ

Log ve veriyi ayrıştır, zenginleştir ve besle

Logstash pipeline mimarisi, Grok ile ayrıştırma, filtre eklentileri ve Elasticsearch'e güvenilir veri beslemeyi öğrenin.

Elastic Stack'in Logstash bileşenini pipeline mimarisi, Grok ayrıştırma, filtre eklentileri ve Elasticsearch'e dayanıklı veri beslemeyle uygulamalı öğreten orta seviye eğitim.

2 gün Orta Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Logstash pipeline, input/filter/output, Grok ayrıştırma ve veri zenginleştirme

Bu orta seviye eğitim, Elastic Stack'in veri işleme bileşeni Logstash'i uçtan uca ele alır. Katılımcılar Logstash pipeline mimarisini (input, filter, output), yapılandırma dilini ve olay (event) modelini öğrenir. Ardından file, beats, kafka, jdbc ve http gibi input eklentileri, Grok ile yapılandırılmamış log ayrıştırma, mutate, date, geoip, dissect ve json filtreleri, koşullu işleme, veri zenginleştirme ve Elasticsearch output ele alınır. Çoklu pipeline, kalıcı kuyruk (persistent queue), ölü mektup kuyruğu (dead letter queue), performans ayarı ve Filebeat ile karşılaştırma uygulamalı işlenir.

Süre ve Format

2 Gün. Her gün dört modül; katılımcılar pipeline temelinden ayrıştırma ve üretim ayarlarına ilerler.

Seviye

Orta Seviye — Logstash ile veri alma: input/filter/output pipeline, Grok ayrıştırma, dönüştürme ve Elasticsearch'e besleme.

Öğrenme Metodu

Katılımcılar gerçek log dosyalarını Grok ile ayrıştırıp Elasticsearch'e besleyen pipeline'lar kurarak öğrenir.

Neden Bu Eğitim?

🧰Esnek Pipeline

Input-filter-output yapısıyla her kaynaktan veriyi işleyebilirsiniz.

🔤Grok Ayrıştırma

Yapılandırılmamış logları Grok desenleriyle yapılandırılmış alanlara dönüştürürsünüz.

🌐Zenginleştirme

GeoIP ve lookup ile veriyi bağlamla zenginleştirirsiniz.

Anahtar Konular

logstashveri almadata ingestiongrokelastic stacklog ayrıştırmalogstash pipelineelasticsearchfilebeatveri boru hattı
“Logstash, dağınık logları anlamlı ve aranabilir veriye dönüştüren köprüdür.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
Linux Temeli

Komut satırı ve dosya yönetimi beklenir.

2
Log Aşinalığı

Log formatları ve düzenli ifade (regex) sezgisi faydalıdır.

3
Elastic Ortamı

Logstash ve Elasticsearch kurulu bir ortam gereklidir.

4
YAML/Config

Temel yapılandırma dosyası okuma becerisi faydalıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Logstash pipeline kurar ve farklı kaynaklardan veri alabilir.
Modül 1
Logstash Mimarisi
  • Input, filter ve output aşamaları
  • Logstash'in Elastic Stack içindeki rolü
  • Pipeline yapılandırma dosyası yapısı
  • Olay işleme hattının akışı
  • Çalıştırma ve test (--config.test_and_exit)
  • Beats ve Logstash iş bölümü
Modül 2
Input Eklentileri
  • file input ve okuma konumu (sincedb)
  • beats input ile Filebeat'ten alma
  • kafka input ile akış tüketimi
  • jdbc input ile veritabanı çekme
  • http ve tcp/udp input'ları
  • Birden çok input'un birleştirilmesi
Modül 3
Olay Modeli
  • Event ve alan (field) yapısı
  • @timestamp ve @metadata alanları
  • İç içe (nested) alanlar ve erişim sözdizimi
  • Alan referansı [field][subfield]
  • Olay yaşam döngüsü
  • Alan türleri ve dönüşüm
Modül 4
Codec'ler
  • json codec ile yapılandırılmış veri
  • multiline codec ile çok satırlı log (stack trace)
  • plain ve line codec
  • Codec ile filter farkı
  • Giriş ve çıkışta codec kullanımı
  • Karakter kodlaması ayarı
Günün hedefiKatılımcı, Grok ve filtrelerle veriyi ayrıştırıp Elasticsearch'e dayanıklı biçimde besleyebilir.
Modül 1
Grok Ayrıştırma
  • Grok desen sözdizimi (%{PATTERN:field})
  • Hazır Grok desenleri kütüphanesi
  • Özel desen tanımlama
  • Grok Debugger ile test
  • Ayrıştırma başarısızlığı (_grokparsefailure) yönetimi
  • dissect ile hızlı sabit yapı ayrıştırma
Modül 2
Filtre Eklentileri
  • mutate ile alan ekleme/silme/dönüştürme
  • date ile zaman damgası ayrıştırma
  • geoip ile IP'den konum
  • json filter ile gömülü JSON açma
  • translate ile lookup zenginleştirme
  • Koşullu (if/else) filtre uygulama
Modül 3
Output ve ES
  • elasticsearch output yapılandırması
  • İndeks adı ve data stream kullanımı
  • Template ve mapping ile alan türleri
  • Document ID ve upsert
  • Birden çok output ve koşullu yönlendirme
  • stdout ile hata ayıklama çıktısı
Modül 4
Dayanıklılık ve Performans
  • Persistent queue ile veri kaybı önleme
  • Dead letter queue ile başarısız olaylar
  • Pipeline worker ve batch size ayarı
  • Çoklu pipeline (pipelines.yml)
  • İzleme ve monitoring API
  • Darboğaz tespiti ve ayarı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Pipeline

Input-filter-output yapısında Logstash pipeline kurarsınız.

✅
Veri Alma

File, beats, kafka ve jdbc input'larıyla veri alırsınız.

✅
Olay Modeli

Event ve alan yapısıyla doğru biçimde çalışırsınız.

✅
Grok

Grok desenleriyle yapılandırılmamış logları ayrıştırırsınız.

✅
Filtreler

mutate, date, geoip ve translate ile veriyi dönüştürürsünüz.

✅
Elasticsearch

Veriyi indeks ve data stream'e doğru biçimde beslersiniz.

✅
Dayanıklılık

Persistent queue ve DLQ ile veri kaybını önlersiniz.

✅
Performans

Worker ve batch ayarıyla pipeline performansını iyileştirirsiniz.

Kimler İçin Uygundur?

  • DevOps mühendisleri
  • sistem yöneticileri
  • gözlemlenebilirlik
  • log analitiği ekipleri ile veri boru hattı kuran profesyoneller için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
DevOps mühendisleri, sistem yöneticileri ve log analitiği/gözlemlenebilirlik ekipleri için uygundur.
Regex bilmek şart mı?
Temel düzenli ifade sezgisi faydalıdır; Grok desenleri eğitimde uygulamalı öğretilir.
Filebeat ile farkı nedir?
Filebeat hafif veri gönderici, Logstash ise güçlü dönüştürme motorudur; ikisinin iş bölümü eğitimde ele alınır.
Veri kaybı nasıl önleniyor?
Persistent queue ve dead letter queue ile dayanıklılık modülünde uygulamalı anlatılır.
Eğitim sonunda sertifika veriliyor mu?
Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Logstash for Data Ingestion Eğitimi Sertifika Kodu DV-2026XX00 Tarih 26.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre2 gün
SeviyeOrta Seviye
FormatOnline / Yüz Yüze / Hibrit
Sertifika✓ Var
Hemen Bilgi Al
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Veri Analizi ve İstatistikVeri Yönetme, Veri Analiz Etme, Veri Raporlama ve Görselleştirme Eğitimi
Veri ve Analitik Eğitimleri

Veri Yönetme, Veri Analiz Etme, Veri Raporlama ve Görselleştirme Eğitimi

4 günOrtaOnline / Yüz Yüze / Hibrit

Veri hazırlama, SQL analizi, yıldız şema modelleme, pano tasarımı ve görselleştirme ilkeleriyle ham veriyi karar destekleyen raporlara dönüştürmeyi öğrenin.

Detayları Gör →
Veri Analizi ve İstatistikVeri-İşlemeli İnceleme Eğitimi
Veri ve Analitik Eğitimleri

Veri-İşlemeli İnceleme Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Tam popülasyon testi, mükerrer ödeme, Benford analizi, görev ayrılığı ve sürekli izlemeyle veri destekli denetim ve inceleme tekniklerini uygulamalı öğrenin.

Detayları Gör →
Veri Analizi ve İstatistikVeri-Yüksek Uygulamalar için Platform Mühendisliği Eğitimi
Veri ve Analitik Eğitimleri

Veri-Yüksek Uygulamalar için Platform Mühendisliği Eğitimi

4 günİleriOnline / Yüz Yüze / Hibrit

Dağıtık depolama, replikasyon, bölümleme, tutarlılık modelleri ve akış işlemeyle veri-yoğun uygulamalar için ölçeklenebilir platform mühendisliğini öğrenin.

Detayları Gör →
Veri Analizi ve İstatistikVertex Forecasting and Time Series in Practice (VFTSP) Eğitimi
Veri ve Analitik Eğitimleri

Vertex Forecasting and Time Series in Practice (VFTSP) Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

Google Cloud Vertex AI Forecasting ve BigQuery ML ARIMA_PLUS ile talep tahmini, quantile tahmin, backtest ve üretime almayı uygulamalı öğrenin.

Detayları Gör →
Veri Analizi ve İstatistikVirginia Consumer Data Protection Act Eğitimi
Veri ve Analitik Eğitimleri

Virginia Consumer Data Protection Act Eğitimi

2 günTemelOnline / Yüz Yüze / Hibrit

Virginia VCDPA kapsamı, veri sorumlusu/işleyen yükümlülükleri, tüketici hakları, rıza ve uyum programını CCPA ve GDPR karşılaştırmasıyla öğrenin.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn