Azure Veri Süreç İzleme Eğitimi

Eğitim Hakkında

Azure veri işleme süreçlerinin izlenmesi, uyarılması ve sorun giderilmesi

Eğitim, veri işleme süreçlerinin üretimde güvenilir çalışması için gereken izleme pratiklerini öğretir. Data Factory ve Synapse pipeline izleme, Log Analytics ile tanılama ayarları, KQL sorguları, Spark UI ve Databricks job çalıştırma geçmişi, Stream Analytics metrikleri, Azure Monitor alert ve action group kurgusu, çalıştırma başarısızlığı kök neden analizi ve SLA panoları uygulamalı işlenir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde mimari anlatım, Azure portal laboratuvarı ve kısa senaryo çalışması yer alır.

Seviye

Orta Seviye — Data Factory, Synapse, Databricks ve Stream Analytics iş akışlarının Azure Monitor ile izlenmesini ve sorun gidermesini kapsayan eğitim

Öğrenme Metodu

Çalışan pipeline ve Spark job'ları üzerinde hata enjekte edilerek izleme ve uyarı mekanizmaları birlikte denenir.

Neden Bu Eğitim?

📡Gözlemlenebilirlik

Pipeline, job ve akış sorgularını tek izleme katmanında toplarsınız.

🚨Erken Uyarı

Alert kurallarıyla hataları kullanıcılar fark etmeden yakalarsınız.

🔍Kök Neden

KQL ve Spark UI ile başarısızlığın kaynağını hızla bulursunuz.

Anahtar Konular

azure veri izlemeazure monitorlog analyticsKQL sorgularıdata factory izlemedatabricks monitoringstream analytics izlemeazure alertDataOpsveri pipeline izleme

“İzlenmeyen veri hattı, sessizce bozulan veri hattıdır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL bilgisi

T-SQL ile temel sorgu yazabilmek ve ilişkisel veri kavramlarını bilmek beklenir.

2

Azure temelleri

Kaynak grubu, depolama hesabı ve abonelik kavramlarına aşinalık gerekir.

3

Veri kavramları

ETL/ELT, veri ambarı ve veri gölü terimlerine genel hakimiyet faydalıdır.

4

Azure aboneliği

Laboratuvarlar için ücretsiz veya deneme Azure aboneliği kullanılır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı tanılama günlüklerini Log Analytics'e yönlendirir ve pipeline çalıştırmalarını sorgular.

Modül 1

Azure Monitor Mimarisi

Metrikler, günlükler ve izler
Diagnostic settings ve hedef seçimi
Log Analytics çalışma alanı tasarımı
Veri saklama ve maliyet yönetimi
Resource-specific ve AzureDiagnostics tabloları
Workbook ve panolar

Modül 2

Data Factory ve Synapse İzleme

Pipeline run, activity run, trigger run görünümleri
Integration Runtime sağlık metrikleri
ADFPipelineRun ve ADFActivityRun tabloları
Hata kodları ve yeniden deneme analizi
Gantt görünümü ve süre analizi
Synapse Studio Monitor hub

Modül 3

KQL ile Analiz

where, summarize, project, extend operatörleri
Başarısız çalıştırmaların zaman serisi analizi
join ile pipeline ve activity birleştirme
render timechart görselleştirme
Sorgu kaydetme ve paketleme
Percentile ile süre eşiği tespiti

Modül 4

Uyarı ve Eylem Grupları

Metric alert ve log alert farkı
Action group: e-posta, SMS, Logic App, webhook
Dinamik eşikler
Alert işleme kuralları (suppression)
Teams bildirimi ile entegrasyon
Uyarı yorgunluğunu azaltma

Günün hedefiKatılımcı Spark ve akış iş yüklerini izler, SLA metrikleri tanımlar ve olay müdahale akışı kurar.

Modül 1

Databricks ve Spark İzleme

Job run geçmişi ve cluster olay günlüğü
Spark UI: stages, tasks, shuffle
Ganglia/cluster metrikleri
Driver ve executor log toplama
Log Analytics'e Databricks günlükleri
Başarısız job yeniden çalıştırma

Modül 2

Stream Analytics ve Event Hubs İzleme

SU % utilization ve watermark delay
Input/output event sayıları
Backlogged input events metriği
Event Hubs incoming/outgoing izleme
Dead-letter ve hata politikası
Ölçekleme eşikleri ve uyarılar

Modül 3

SLA ve Veri Güvenilirliği

Veri tazeliği (freshness) ve gecikme metriği
SLA, SLO ve SLI tanımı
Veri kalitesi sinyalleri: satır sayısı, null oranı
Pipeline başarı oranı panosu
Maliyet ve kullanım izleme
Runbook ve olay müdahale süreci

Modül 4

Sorun Giderme Çalıştayı

Bilinçli hata enjeksiyonu senaryoları
Bağlantı, yetki ve şema değişikliği hataları
Zaman aşımı ve kaynak yetersizliği analizi
Post-mortem şablonu
Otomatik onarım (Logic App/Function)
Kapsayıcı izleme panosu sunumu

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Tanılama ayarı

Diagnostic settings ile servis günlüklerini Log Analytics'e toplayabilirsiniz.

✅

Pipeline izleme

ADF ve Synapse çalıştırma tablolarını sorgulayabilirsiniz.

✅

KQL

KQL ile başarısız çalıştırma trendlerini analiz edebilirsiniz.

✅

Alert kurgusu

Metric ve log alert kuralları ile action group yapılandırabilirsiniz.

✅

Spark izleme

Spark UI ve cluster metrikleriyle iş darboğazı bulabilirsiniz.

✅

Akış izleme

Stream Analytics watermark delay ve SU kullanımını izleyebilirsiniz.

✅

SLA panoları

Veri tazeliği ve başarı oranı panoları oluşturabilirsiniz.

✅

Olay müdahalesi

Post-mortem ve runbook ile tekrar eden hataları azaltabilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
DataOps ekipleri
veri platformu işletiminden sorumlu BT uzmanları için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, DataOps ekipleri ve veri platformu işletiminden sorumlu BT uzmanları için uygundur.

KQL bilmem gerekir mi?

Hayır; temel operatörler eğitim içinde adım adım öğretilir.

Hangi servisler izlenir?

Data Factory, Synapse, Databricks, Stream Analytics ve Event Hubs ele alınır.

Uyarı yorgunluğu nasıl azaltılır?

Dinamik eşikler ve alert işleme kurallarıyla anlamlı bildirim seviyesi kurulur.

Belge verilir mi?

Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING ON MICROSOFT AZURE: DATA PROCESS MONITORING EĞİTİMİ