Veri Gölü, ETL ve Görselleştirme Eğitimi

Eğitim Hakkında

Veri gölü, ETL operasyonları ve görselleştirme

Bu eğitim veri gölü (data lake) merkezli bir analitik akışı uçtan uca kapsar. Çeşitli kaynakların (DB, API, dosya, streaming) veri gölüne alınması, zone/katman organizasyonu (raw/curated), dosya formatları ve partition stratejisi işlenir. ETL/ELT operasyonları: temizleme, dönüşüm, join, agregasyon ve kalite kontrol ele alınır. Katalog ve metadata (Glue/Unity benzeri), şema yönetimi, sorgu motorları (Athena/Spark SQL benzeri) ile sorgulama ve BI araçlarıyla görselleştirme, dashboard kurma ve performans/maliyet farkındalığı uygulamalı gösterilir.

Süre ve Format

3 Gün. Her gün dört modül; kaynak alım, ETL ve görselleştirme labler içerir.

Seviye

Orta Seviye — Veri gölü kaynak entegrasyonu, ETL operasyonları ve görselleştirmeyi uçtan uca kapsar.

Öğrenme Metodu

Bir veri gölüne çok kaynaklı veri alıp ETL ile hazırlayıp BI panosuna taşıyarak öğrenilir.

Neden Bu Eğitim?

🌐Kaynak Çeşitliliği

DB, API, dosya ve streaming kaynaklarını gölde birleştirirsiniz.

⚙️ETL Operasyonu

Temizleme, dönüşüm ve kaliteyi gölde uygularsınız.

📈Görselleştirme

Hazır veriyi BI panolarına dönüştürürsünüz.

Anahtar Konular

veri gölüdata lake etldata lake görselleştirmeparquet partitionveri kataloğuathenaspark sqlbi dashboardveri mühendisliği

“Veri gölü, iyi organize edildiğinde içgörü kaynağına dönüşür.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL

Sorgulama ve dönüşüm için SQL bilgisi gerekir.

2

Bulut Depolama

Nesne depolama (S3/ADLS) kavramlarına aşinalık faydalıdır.

3

ETL Kavramı

ETL/ELT ve veri modelleme kavramları beklenir.

4

Lab Ortamı

Bir veri gölü, sorgu motoru ve BI aracı erişimi gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı çeşitli kaynaklardan veri gölüne alım yapıp katmanları organize edebilir.

Modül 1

Kaynak Alımı

DB çıkarma
API ile çekme
Dosya/batch yükleme
Streaming alım
Artımlı alım
Hata yönetimi

Modül 2

Göl Organizasyonu

Raw/curated/consumption zone
Klasör/prefix düzeni
Partition stratejisi
Dosya boyutu
Yaşam döngüsü (lifecycle)
Erişim organizasyonu

Modül 3

Formatlar

Parquet/ORC
JSON/CSV
Avro ve şema
Sıkıştırma
Columnar avantajı
Format dönüşümü

Modül 4

Katalog/Metadata

Veri kataloğu (Glue/Unity)
Tablo/şema tanımı
Crawler/keşif
Şema evrimi
Partition kayıt
Arama ve keşif

Günün hedefiKatılımcı veri gölünde ETL operasyonları ve kalite kontrolü uygulayabilir.

Modül 1

Temizleme

Null/duplicate işleme
Standardizasyon
Tip dönüşümü
Deduplication
Filtreleme
Normalize etme

Modül 2

Dönüşüm

Join ve zenginleştirme
Agregat/rollup
Pencere fonksiyonları
Türetilmiş kolon
Partition yazma
Curated tablo üretimi

Modül 3

Sorgu Motoru

Athena/Spark SQL ile sorgu
Partition pruning
External tablo
Dosya boyutu etkisi
Maliyet (taranan veri)
Sonuç önbellek

Modül 4

Veri Kalitesi

Doğrulama kuralları
Freshness/volume kontrol
Şema uyumu
Kalite metriği
Karantina
Raporlama

Günün hedefiKatılımcı hazır veriyi BI araçlarıyla görselleştirip operasyonel yönetebilir.

Modül 1

BI Bağlantısı

BI aracına bağlanma
Doğrudan sorgu vs import
Semantik model
Agregat katman
Erişim kontrolü
Performans

Modül 2

Dashboard

Grafik türü seçimi
Filtre ve parametre
Drill-down
KPI panoları
Düzen ve okunabilirlik
Paylaşım

Modül 3

Otomasyon

ETL zamanlama
Orkestrasyon
Yenileme ve bağımlılık
Bildirim
Yeniden işleme
İzleme

Modül 4

Maliyet/Güvenlik

Taranan veri optimizasyonu
Depolama katmanı (hot/cold)
Erişim ve şifreleme
Audit
En az ayrıcalık
Maliyet izleme

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Kaynak Alımı

DB, API, dosya ve streaming kaynaklarını göle alırsınız.

✅

Organizasyon

Raw/curated zone ve partition stratejisi kurarsınız.

✅

Katalog

Veri kataloğu ve metadata ile veriyi keşfedilebilir kılarsınız.

✅

ETL

Temizleme, dönüşüm ve agregasyonu gölde uygularsınız.

✅

Sorgu

Athena/Spark SQL ile göl verisini maliyet-bilinçli sorgularsınız.

✅

Veri Kalitesi

Doğrulama ve freshness kontrolleriyle kaliteyi güvenceye alırsınız.

✅

Görselleştirme

BI panoları ve KPI dashboard'ları kurarsınız.

✅

Operasyon

Otomasyon, maliyet ve güvenliği yönetirsiniz.

Kimler İçin Uygundur?

Veri gölü üzerinde ETL ve raporlama kuran veri mühendisleri
analistler
BI geliştiricileri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri gölü üzerinde ETL ve raporlama kuran veri mühendisleri, analistler ve BI geliştiricileri için uygundur.

Hangi sorgu motorları işleniyor?

Athena ve Spark SQL benzeri motorlarla partition pruning ve maliyet optimizasyonu gösterilir.

Görselleştirme hangi araçla?

BI araçlarına bağlanma ve KPI dashboard kurma araç-bağımsız yaklaşımla ele alınır.

Partition neden önemli?

Taranan veri hacmini ve maliyeti düşürdüğü için partition stratejisi uygulamalı işlenir.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA LAKE SOURCES, VISUALIZATIONS, & ETL OPERATIONS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Kaynak Alımı

Göl Organizasyonu

Formatlar

Katalog/Metadata

Temizleme

Dönüşüm

Sorgu Motoru

Veri Kalitesi

BI Bağlantısı

Dashboard

Otomasyon

Maliyet/Güvenlik

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Implementing Data Engineering Solutions Using Microsoft Fabric Eğitimi

Introduction to ETL and Data Warehousing Eğitimi

Introduction to Snowflake Eğitimi

Managing Snowflake: Administering a Snowflake Account Eğitimi

Microsoft Fabric Data Engineer (DP-700) Eğitimi