Data Ingestion & Processing Eğitimi

Eğitim Hakkında

Verinin kaynaktan analitik depoya akışını tasarlamak

Bu eğitim, Azure'da veri alımı (ingestion) ve işleme (processing) tekniklerini kapsar. Batch ve stream işleme farkı, lambda ve kappa mimarileri, ETL ve ELT, Event Hubs, IoT Hub, Kafka uyumluluğu ve Data Factory ile alım anlatılır. Stream Analytics pencereleri, Spark Structured Streaming, Databricks ile toplu işleme, Delta Lake, veri kalitesi kontrolleri ve izleme uygulamalı işlenir. Alım hatlarında hata yönetimi, tekrar deneme, idempotency ve maliyet konuları ele alınır.

Süre ve Format

2 Gün. Her gün dört modül; ETL/ELT, Data Factory ve toplu işleme; Event Hubs, IoT Hub, Stream Analytics ve Spark Streaming. Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Seviye

Temel Seviye — Batch ve akış veri alımı, ETL/ELT, Event Hubs, Stream Analytics, Data Factory ve Spark ile veri işleme hatlarını kapsar.

Öğrenme Metodu

Event Hubs'a örnek telemetri akıtılır, Stream Analytics ile işlenir, Data Factory ile batch dosyalar alınır ve her ikisi Data Lake'te birleştirilir.

Neden Bu Eğitim?

🎯Batch ve stream

İki işleme modelini senaryoya göre ayırt eder ve birlikte kullanırsınız.

🛠️Uçtan uca hat

Kaynaktan göle veri akışını Azure servisleriyle kurarsınız.

📈Dayanıklılık

Hata, tekrar deneme ve tekrarlanan kayıt sorunlarını yönetirsiniz.

Anahtar Konular

veri alımı azuredata ingestionevent hubsstream analyticsazure databricksbatch ve stream işlemedp-900 eğitimiazure data fundamentalsetl eltdelta lake

“Veri hattının gücü, en zayıf bağlantısı kadardır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Azure aboneliği

Uygulamalar ücretsiz Azure hesabı veya sağlanan sandbox aboneliği üzerinde yapılır.

2

Tarayıcı ve internet

Azure Portal ve Cloud Shell erişimi için güncel bir tarayıcı ve kararlı bağlantı yeterlidir.

3

Veri formatları

CSV, JSON ve Parquet biçimlerine genel aşinalık yeterlidir.

4

Temel SQL bilgisi

SELECT, WHERE ve JOIN düzeyinde sorgu yazabilmek uygulamaları hızlandırır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı batch alım hattı kurar ve toplu işleme mantığını açıklar.

Modül 1

Alım Temelleri

Veri kaynakları: veritabanı, dosya, API, cihaz
Batch ve streaming farkları
Lambda ve kappa mimarisi
ETL ile ELT seçimi
Artımlı yükleme ve watermark
Veri sözleşmesi ve şema evrimi

Modül 2

Data Factory ile Alım

Copy Activity ile kaynaktan göle kopyalama
Self-hosted IR ile şirket içi kaynak
Tetikleyici: schedule ve storage event
Parametrik pipeline
Hata ve yeniden deneme ilkesi
Maliyet ve DIU ayarı

Modül 3

Toplu İşleme

Databricks ile Spark dönüşümü
DataFrame, filter, join, groupBy
Parquet ve Delta Lake yazma
Bölümleme stratejisi
Veri kalitesi kontrolleri
Synapse Spark alternatifi

Modül 4

Lab: Batch Hat

CSV dosyalarının Blob'a düşmesi
Event tetikleyicili pipeline
Databricks ile temizleme
Parquet çıktısı
Çıktının Synapse serverless ile sorgulanması
Çalıştırma günlüklerinin incelenmesi

Günün hedefiKatılımcı akış verisini alır, pencereli olarak işler ve depoya yazar.

Modül 1

Olay Alımı

Event Hubs ad alanı, bölümler ve tüketici grupları
Capture ile göle otomatik yazma
IoT Hub cihaz-bulut mesajlaşması
Kafka uyumlu uç nokta
Mesaj sıralaması ve bölüm anahtarı
Saklama süresi ve verim birimleri

Modül 2

Stream Analytics

Girdi, sorgu ve çıktı yapısı
Tumbling, hopping, sliding, session pencereleri
Referans veriyle zenginleştirme
Geç gelen olay yönetimi
Çıktılar: Blob, SQL, Power BI, Cosmos DB
Streaming Unit ölçekleme

Modül 3

Spark Structured Streaming

Kaynaktan akış DataFrame okuma
Trigger ve checkpoint kavramı
Watermark ile geç veri
Delta tabloya akış yazma
Exactly-once işleme garantisi
Akış ve batch birleşimi

Modül 4

Dayanıklılık ve Tekrar

Idempotent yazma ve yinelenen kayıt
Dead-letter ve hata kuyruğu
Alım hattı izleme metrikleri
Gecikme ve verim ayarı
Güvenlik: yönetilen kimlik
DP-900 alım ve işleme soruları tekrarı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

İşleme modeli

Batch ve stream işlemeyi ayırt edip senaryoya uyarlayabilirsiniz.

✅

ETL/ELT

İkisinin avantajlarını açıklayıp seçim yapabilirsiniz.

✅

Data Factory hattı

Parametrik alım pipeline'ı kurabilirsiniz.

✅

Event Hubs

Olay alımı, bölüm ve tüketici grubu kavramlarını uygulayabilirsiniz.

✅

Stream Analytics

Pencereli sorgular yazıp Power BI'a çıktı verebilirsiniz.

✅

Spark işleme

Databricks'te dönüşüm ve Delta yazımı yapabilirsiniz.

✅

Hata yönetimi

Idempotency ve dead-letter desenlerini uygulayabilirsiniz.

✅

İzleme

Alım hattı metriklerini izleyip darboğazı bulabilirsiniz.

Kimler İçin Uygundur?

Veri mühendisliğine giriş yapan BT uzmanları
geliştiriciler
analistler
DP-900 adayları

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisliğine giriş yapan BT uzmanları, geliştiriciler, analistler ve DP-900 adayları.

Spark bilgisi gerekir mi?

Hayır; hazır not defterleriyle çalışılır, temel DataFrame mantığı sıfırdan anlatılır.

Event Hubs ile IoT Hub farkı nedir?

Event Hubs genel olay alımı, IoT Hub çift yönlü cihaz yönetimi sunar; farklar uygulamada gösterilir.

Batch ve stream birlikte kullanılır mı?

Evet; lambda ve kappa mimarileri üzerinden birlikte kullanım örneği yapılır.

Sınav ve sertifika konusu nasıl işleniyor?

Microsoft DP-900 (Azure Data Fundamentals) sınav konularıyla örtüşen içerik işlenir; sınav başvurusu ve ücreti ilgili kuruma aittir. Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

AZURE DATA FUNDAMENTALS: DATA INGESTION & PROCESSING EĞİTİMİ