Data Engineering on AWS Eğitimi

Eğitim Hakkında

Veri alımı, dönüşüm, ambar, orkestrasyon, kalite ve güvenlik

Data Engineering on AWS eğitimi, veri mühendislerinin AWS üzerinde üretim kalitesinde veri hatları kurmasını hedefler. Toplu ve akış alım desenleri, S3 veri gölü tasarımı, Glue ve EMR ile dönüşüm, Athena, Redshift COPY ve ELT, MWAA ve Step Functions orkestrasyonu, Glue Data Quality, Lake Formation yetkilendirmesi, KMS şifreleme, CloudWatch izleme ve maliyet-performans ayarı uygulamalı laboratuvarlarla işlenir.

Süre ve Format

4 Gün. Her gün dört modül; katılımcılar veri alımı, dönüşüm, ambar, orkestrasyon, kalite ve güvenlik eksenlerinde aşamalı olarak uygulamalı çalışır.

Seviye

İleri Seviye — AWS üzerinde uçtan uca veri mühendisliği: alım, dönüşüm, depolama, orkestrasyon, kalite ve güvenlik.

Öğrenme Metodu

Katılımcılar alımdan sunuma kadar tam bir veri hattını laboratuvarda kurar, orkestre eder ve kalite kurallarıyla doğrular.

Neden Bu Eğitim?

🔧Üretim Hattı

Alımdan sunuma kadar çalışan, izlenebilir bir veri hattı inşa edersiniz.

🧪Veri Kalitesi

Glue Data Quality kurallarıyla hatalı veriyi erken yakalarsınız.

🕸️Orkestrasyon

MWAA ve Step Functions ile bağımlı işleri güvenle zamanlarsınız.

Anahtar Konular

Data Engineering on AWSAWS veri mühendisliğiAWS GlueAWS RedshiftAWS MWAA AirflowAWS KinesisAWS veri hattıETL AWSAWS Lake Formationveri mühendisliği eğitimiData Engineering on AWS

“Veri mühendisliği, veriyi taşımak değil, ona güvenilmesini sağlamaktır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL ve Python

Orta düzey SQL ve temel Python bilgisi gerekir.

2

ETL Kavramları

ETL/ELT ve veri modelleme kavramlarına aşinalık beklenir.

3

AWS Temelleri

S3, IAM ve VPC hakkında temel bilgi faydalıdır.

4

Çalışma Ortamı

Laboratuvarlar için eğitimde sağlanan AWS sandbox hesabı ve tarayıcı yeterlidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı AWS üzerinde veri mühendisliği hattının alım ve depolama katmanlarını kurar.

Modül 1

Veri Gölü Mimari Tasarımı

Katmanlı yapı: raw, curated (cleansed) ve analytics (consumption) bölgeleri
S3 prefix ve partition şeması tasarımı
Küçük dosya sorunu ve dosya birleştirme (compaction)
Veri formatı seçimi: CSV, JSON, Avro, Parquet, ORC
Lakehouse yaklaşımı: Iceberg, Hudi, Delta karşılaştırması
Maliyet optimizasyonu: lifecycle, Intelligent-Tiering, sorgu başına tarama

Modül 2

Veri Alım Desenleri: DMS, DataSync, AppFlow, Transfer

DMS full load + CDC ile veritabanından göle aktarım
AppFlow ile SaaS kaynaklarından (Salesforce, SAP) veri çekme
Transfer Family ile SFTP/FTPS uç noktası
DataSync ile şirket içi dosya sunucularından alım
Firehose ve Kinesis ile gerçek zamanlı alım
Toplu, mikro-toplu ve akış alımı karşılaştırması

Modül 3

Kinesis ile Akış Verisi Alımı

Kinesis Data Streams: shard, partition key ve sıra garantisi
Provisioned ve on-demand kapasite modu, hot shard sorunu
KPL, KCL ve enhanced fan-out ile üretici/tüketici geliştirme
Kinesis Data Firehose ile S3, Redshift, OpenSearch’e teslim
Firehose dönüşümü: Lambda, Parquet dönüştürme, dinamik bölümleme
Veri saklama süresi, replay ve iteratör türleri

Modül 4

Amazon S3 Nesne Depolama

Bucket, nesne, prefix ve S3 tutarlılık modeli
Storage class: Standard, Intelligent-Tiering, Glacier Instant/Flexible/Deep Archive
Lifecycle kuralları ve versioning ile nesne yaşam döngüsü
Bucket policy, Block Public Access ve S3 Object Ownership
SSE-S3, SSE-KMS ve istemci taraflı şifreleme
Cross-Region Replication, event notification ve presigned URL

Günün hedefiKatılımcı toplu ve akış verisini dönüştürür ve işler.

Modül 1

AWS Glue ile ETL ve Veri Kataloğu

Glue Data Catalog, database ve table yapısı
Crawler ile şema çıkarımı ve şema evrimi
Glue ETL işleri: PySpark, DynamicFrame ve job bookmark
Glue Studio ile görsel ETL ve Glue DataBrew
Worker tipleri (G.1X, G.2X), DPU ve maliyet ayarı
Glue workflow, trigger ve Glue Data Quality kuralları

Modül 2

Amazon EMR ile Büyük Veri İşleme

EMR cluster mimarisi: primary, core ve task düğümleri
Spark, Hive ve Presto/Trino uygulamaları
Instance fleet, Spot kullanımı ve managed scaling
EMR Serverless ve EMR on EKS
EMRFS, S3 üzerinde Hudi/Iceberg tabloları
Spark performans ayarı: shuffle, executor belleği, skew

Modül 3

Athena ile Sunucusuz SQL Analizi

Athena motoru (Trino/Presto) ve S3 üzerinde sorgulama
Parquet/ORC sütunlu format, sıkıştırma ve bölümleme (partitioning)
Partition projection ve MSCK REPAIR TABLE
CTAS ve INSERT INTO ile veri dönüşümü
Workgroup, sorgu limiti ve taranan veri bazlı maliyet kontrolü
Federated query ve Apache Iceberg tabloları

Modül 4

MSK ve Managed Flink ile Akış İşleme

Amazon MSK kümesi, broker, topic ve partition yapısı
MSK Serverless ve MSK Connect ile entegrasyon
Apache Flink pencereleme: tumbling, sliding, session
Event time, watermark ve geç gelen veri yönetimi
Managed Service for Apache Flink uygulama dağıtımı ve checkpoint
Kafka ve Kinesis seçimi için ödünleşim analizi

Günün hedefiKatılımcı veriyi ambarda sunar ve hatları orkestre eder.

Modül 1

Amazon Redshift Veri Ambarı

Redshift mimarisi: leader node, compute node, RA3 ve managed storage
Distribution style (KEY, ALL, EVEN, AUTO) ve sort key seçimi
COPY ve UNLOAD komutlarıyla S3 veri yükleme
Workload Management (WLM), Short Query Acceleration, concurrency scaling
Redshift Spectrum ile S3’teki veriyi sorgulama
Materialized view, VACUUM, ANALYZE ve sıkıştırma kodlaması

Modül 2

Veri İş Akışı Orkestrasyonu: MWAA ve Step Functions

Managed Workflows for Apache Airflow: DAG, operator, sensor
Airflow ortam yapılandırması, requirements.txt ve plugins
Step Functions ile Glue/EMR iş zincirleri
EventBridge ile tetikleme ve zamanlama
Hata yönetimi, yeniden deneme ve idempotent iş tasarımı
Pipeline izleme: CloudWatch metrikleri, alarm ve SLA

Modül 3

QuickSight ve OpenSearch ile Görselleştirme

QuickSight SPICE ve doğrudan sorgu modları
Dataset, analysis, dashboard ve hesaplanmış alanlar
Satır düzeyi güvenlik ve gömülü (embedded) analitik
OpenSearch Service domain, index ve shard tasarımı
OpenSearch Dashboards ile log ve metrik analizi
Kinesis Firehose ile OpenSearch’e gerçek zamanlı indeksleme

Modül 4

Veri Yükleme ve ELT Süreçleri

COPY komutu: manifest, sıkıştırılmış dosya ve paralel yükleme
Otomatik COPY işleri ve S3 olay entegrasyonu
Streaming ingestion: Kinesis ve MSK’den doğrudan Redshift’e
Zero-ETL entegrasyonu: Aurora → Redshift
Stored procedure ve MERGE ile upsert
Glue ve dbt ile ELT hattı

Günün hedefiKatılımcı veri hatlarını güvenli, kaliteli ve izlenebilir hale getirir.

Modül 1

Lake Formation ile Veri Gölü Güvenliği

Data lake yönetici rolleri ve kayıtlı S3 konumları
Veritabanı, tablo, sütun ve satır düzeyinde yetkilendirme
LF-Tag tabanlı erişim kontrolü (TBAC)
Hesaplar arası veri paylaşımı
Governed table ve Iceberg tabloları ile ACID işlemleri
CloudTrail ile veri erişim denetimi

Modül 2

Veri Kalitesi ve Yönetişim

Glue Data Quality ve DQDL kuralları
DataZone ile veri ürünü kataloglama ve yayınlama
Veri soy ağacı (lineage) ve meta veri yönetimi
PII maskeleme, Macie ve sütun düzeyi şifreleme
Veri saklama ve silme politikaları (KVKK/GDPR bakış açısı)
Veri sözleşmeleri ve veri sahipliği modeli

Modül 3

CloudWatch ile İzleme ve Alarm

Metrik, namespace, dimension ve özel (custom) metrik yayınlama
CloudWatch Agent ile bellek ve disk metriği toplama
Alarm, composite alarm ve SNS bildirim entegrasyonu
CloudWatch Logs, log group, metric filter ve Logs Insights sorguları
Dashboard oluşturma ve Contributor Insights
EventBridge kuralları ile olay tabanlı otomasyon

Modül 4

Toplu İşleme Performans ve Maliyet Optimizasyonu

Bölümleme ve sütunlu format ile taranan veri azaltma
Glue DPU, EMR Spot ve managed scaling ayarı
Spark shuffle, join stratejileri ve broadcast
Küçük dosya birleştirme ve dosya boyutu hedefi
Athena workgroup ve maliyet kontrolü
İzleme: Spark UI, CloudWatch ve Glue job metrikleri

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Veri Alımı

Toplu ve akış alım hatlarını kurarsınız.

🧱

Göl Tasarımı

Katmanlı S3 veri gölü tasarlarsınız.

🔐

Glue ve EMR

Glue ve EMR ile dönüşüm işleri yazarsınız.

⚙️

Akış İşleme

Kinesis ve Flink ile akış verisini işlersiniz.

📈

Ambar

Redshift’e verimli veri yükler ve modellersiniz.

☁️

Orkestrasyon

MWAA ve Step Functions ile iş akışı kurarsınız.

🛠️

Veri Kalitesi

Glue Data Quality ve yönetişim kuralları uygularsınız.

🚀

Güvenlik ve İzleme

Lake Formation, KMS ve CloudWatch ile hattı güvenli ve izlenebilir yaparsınız.

Kimler İçin Uygundur?

Veri mühendisleri
ETL geliştiricileri
analitik mühendisler
AWS’te veri platformu kuran ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, ETL geliştiricileri, analitik mühendisler ve AWS’te veri platformu kuran ekipler için uygundur.

Sınav hazırlığı sağlar mı?

Kapsam Data Engineer Associate (DEA-C01) konularıyla örtüşür; sınav başvurusu ve ücreti ilgili kuruma aittir.

Hem toplu hem akış var mı?

Evet, iki alım modeli de uygulamalı işlenir.

Airflow kapsanıyor mu?

MWAA ile DAG yazımı ve zamanlama ele alınır.

Sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING ON AWS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Gölü Mimari Tasarımı

Veri Alım Desenleri: DMS, DataSync, AppFlow, Transfer

Kinesis ile Akış Verisi Alımı

Amazon S3 Nesne Depolama

AWS Glue ile ETL ve Veri Kataloğu

Amazon EMR ile Büyük Veri İşleme

Athena ile Sunucusuz SQL Analizi

MSK ve Managed Flink ile Akış İşleme

Amazon Redshift Veri Ambarı

Veri İş Akışı Orkestrasyonu: MWAA ve Step Functions

QuickSight ve OpenSearch ile Görselleştirme

Veri Yükleme ve ELT Süreçleri

Lake Formation ile Veri Gölü Güvenliği

Veri Kalitesi ve Yönetişim

CloudWatch ile İzleme ve Alarm

Toplu İşleme Performans ve Maliyet Optimizasyonu

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

AWS Networking Specialty (ANS-C01): Automating & Configuring AWS Network Infrastructure Eğitimi

AWS Networking Specialty (ANS-C01): AWS Edge, DNS, & Load Balancing Eğitimi

AWS Networking Specialty (ANS-C01): Compliance & Specialized Governance for AWS Networking Eğitimi

AWS Networking Specialty (ANS-C01): End-to-End AWS Network Architectures and Exam Prep Eğitimi

AWS Networking Specialty (ANS-C01): Enterprise Network Architecture Patterns in AWS Eğitimi