Building Modern Data Analytics Solutions on AWS

Eğitim Hakkında

Modern veri mimarisi: göl, ambar, akış, yönetişim ve ML

Building Modern Data Analytics Solutions on AWS eğitimi, farklı analitik servisleri tek bir modern veri platformunda birleştirmeyi hedefler. S3 veri gölü ve Iceberg, Glue ve EMR ile toplu işleme, Kinesis ve Managed Flink ile akış, Redshift ve Athena ile sorgulama, OpenSearch ve QuickSight ile görselleştirme, Lake Formation ve DataZone ile yönetişim, zero-ETL ve Redshift ML/SageMaker ile makine öğrenmesi entegrasyonu uygulamalı işlenir.

Süre ve Format

4 Gün. Her gün dört modül; katılımcılar modern veri mimarisi: göl, ambar, akış, yönetişim ve ML eksenlerinde aşamalı olarak uygulamalı çalışır.

Seviye

İleri Seviye — Veri gölü, toplu-akış işleme, ambar ve ML bileşenlerini birleştiren modern AWS analitik mimarisi.

Öğrenme Metodu

Katılımcılar tek bir senaryo üzerinde göl, toplu ve akış işleme, ambar ve görselleştirme bileşenlerini adım adım birleştiren laboratuvarlar yapar.

Neden Bu Eğitim?

🧬Bütünleşik Platform

Göl, ambar ve akış bileşenlerini tek mimaride tutarlı biçimde birleştirirsiniz.

⚖️Doğru Servis Seçimi

Glue, EMR, Redshift, Athena ve Flink arasında iş yüküne göre karar verirsiniz.

🤖ML Entegrasyonu

Analitik veriyi SageMaker ve Redshift ML ile tahmine dönüştürürsünüz.

Anahtar Konular

modern veri analitiği AWSBuilding Modern Data AnalyticsAWS lakehouseAWS Redshift AthenaAWS Kinesis FlinkAWS Glue EMRAWS DataZonezero-ETLAWS veri mimarisiAWS analitik eğitimiBuilding Modern Data Analytics Solutions on AWS

“Modern veri mimarisi, veriyi taşımadan, soruya cevabı verinin olduğu yerde üretir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL ve Veri

SQL ve veri mühendisliği kavramlarında orta düzey bilgi gerekir.

2

AWS Temelleri

S3, IAM ve VPC kavramlarına aşinalık beklenir.

3

Analitik Deneyim

ETL veya BI projelerinde yer almış olmak avantajdır.

4

Çalışma Ortamı

Laboratuvarlar için eğitimde sağlanan AWS sandbox hesabı ve tarayıcı yeterlidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı modern veri mimarisinin bileşenlerini ve veri gölü katmanını tasarlar.

Modül 1

Veri Gölü Mimari Tasarımı

Katmanlı yapı: raw, curated (cleansed) ve analytics (consumption) bölgeleri
S3 prefix ve partition şeması tasarımı
Küçük dosya sorunu ve dosya birleştirme (compaction)
Veri formatı seçimi: CSV, JSON, Avro, Parquet, ORC
Lakehouse yaklaşımı: Iceberg, Hudi, Delta karşılaştırması
Maliyet optimizasyonu: lifecycle, Intelligent-Tiering, sorgu başına tarama

Modül 2

Veri Alım Desenleri: DMS, DataSync, AppFlow, Transfer

DMS full load + CDC ile veritabanından göle aktarım
AppFlow ile SaaS kaynaklarından (Salesforce, SAP) veri çekme
Transfer Family ile SFTP/FTPS uç noktası
DataSync ile şirket içi dosya sunucularından alım
Firehose ve Kinesis ile gerçek zamanlı alım
Toplu, mikro-toplu ve akış alımı karşılaştırması

Modül 3

Amazon S3 Nesne Depolama

Bucket, nesne, prefix ve S3 tutarlılık modeli
Storage class: Standard, Intelligent-Tiering, Glacier Instant/Flexible/Deep Archive
Lifecycle kuralları ve versioning ile nesne yaşam döngüsü
Bucket policy, Block Public Access ve S3 Object Ownership
SSE-S3, SSE-KMS ve istemci taraflı şifreleme
Cross-Region Replication, event notification ve presigned URL

Modül 4

AWS Glue ile ETL ve Veri Kataloğu

Glue Data Catalog, database ve table yapısı
Crawler ile şema çıkarımı ve şema evrimi
Glue ETL işleri: PySpark, DynamicFrame ve job bookmark
Glue Studio ile görsel ETL ve Glue DataBrew
Worker tipleri (G.1X, G.2X), DPU ve maliyet ayarı
Glue workflow, trigger ve Glue Data Quality kuralları

Günün hedefiKatılımcı toplu ve akış işleme hatlarını aynı mimaride birleştirir.

Modül 1

Amazon EMR ile Büyük Veri İşleme

EMR cluster mimarisi: primary, core ve task düğümleri
Spark, Hive ve Presto/Trino uygulamaları
Instance fleet, Spot kullanımı ve managed scaling
EMR Serverless ve EMR on EKS
EMRFS, S3 üzerinde Hudi/Iceberg tabloları
Spark performans ayarı: shuffle, executor belleği, skew

Modül 2

Kinesis ile Akış Verisi Alımı

Kinesis Data Streams: shard, partition key ve sıra garantisi
Provisioned ve on-demand kapasite modu, hot shard sorunu
KPL, KCL ve enhanced fan-out ile üretici/tüketici geliştirme
Kinesis Data Firehose ile S3, Redshift, OpenSearch’e teslim
Firehose dönüşümü: Lambda, Parquet dönüştürme, dinamik bölümleme
Veri saklama süresi, replay ve iteratör türleri

Modül 3

MSK ve Managed Flink ile Akış İşleme

Amazon MSK kümesi, broker, topic ve partition yapısı
MSK Serverless ve MSK Connect ile entegrasyon
Apache Flink pencereleme: tumbling, sliding, session
Event time, watermark ve geç gelen veri yönetimi
Managed Service for Apache Flink uygulama dağıtımı ve checkpoint
Kafka ve Kinesis seçimi için ödünleşim analizi

Modül 4

Veri İş Akışı Orkestrasyonu: MWAA ve Step Functions

Managed Workflows for Apache Airflow: DAG, operator, sensor
Airflow ortam yapılandırması, requirements.txt ve plugins
Step Functions ile Glue/EMR iş zincirleri
EventBridge ile tetikleme ve zamanlama
Hata yönetimi, yeniden deneme ve idempotent iş tasarımı
Pipeline izleme: CloudWatch metrikleri, alarm ve SLA

Günün hedefiKatılımcı analitik sunum katmanını amaca göre seçer ve kullanıcılara sunar.

Modül 1

Amazon Redshift Veri Ambarı

Redshift mimarisi: leader node, compute node, RA3 ve managed storage
Distribution style (KEY, ALL, EVEN, AUTO) ve sort key seçimi
COPY ve UNLOAD komutlarıyla S3 veri yükleme
Workload Management (WLM), Short Query Acceleration, concurrency scaling
Redshift Spectrum ile S3’teki veriyi sorgulama
Materialized view, VACUUM, ANALYZE ve sıkıştırma kodlaması

Modül 2

Athena ile Sunucusuz SQL Analizi

Athena motoru (Trino/Presto) ve S3 üzerinde sorgulama
Parquet/ORC sütunlu format, sıkıştırma ve bölümleme (partitioning)
Partition projection ve MSCK REPAIR TABLE
CTAS ve INSERT INTO ile veri dönüşümü
Workgroup, sorgu limiti ve taranan veri bazlı maliyet kontrolü
Federated query ve Apache Iceberg tabloları

Modül 3

QuickSight ve OpenSearch ile Görselleştirme

QuickSight SPICE ve doğrudan sorgu modları
Dataset, analysis, dashboard ve hesaplanmış alanlar
Satır düzeyi güvenlik ve gömülü (embedded) analitik
OpenSearch Service domain, index ve shard tasarımı
OpenSearch Dashboards ile log ve metrik analizi
Kinesis Firehose ile OpenSearch’e gerçek zamanlı indeksleme

Modül 4

Akış Verisini Depolama ve Sorgulama

Firehose ile S3 Parquet ve dinamik bölümleme
OpenSearch ile gerçek zamanlı log ve arama
Timestream ve DynamoDB ile zaman serisi verisi
Redshift streaming ingestion ve materialized view
Athena ile akış verisinin sorgulanması
QuickSight ile yakın gerçek zamanlı dashboard

Günün hedefiKatılımcı yönetişimi uygular, analitik veriyi ML ile zenginleştirir ve mimariyi maliyet açısından optimize eder.

Modül 1

Lake Formation ile Veri Gölü Güvenliği

Data lake yönetici rolleri ve kayıtlı S3 konumları
Veritabanı, tablo, sütun ve satır düzeyinde yetkilendirme
LF-Tag tabanlı erişim kontrolü (TBAC)
Hesaplar arası veri paylaşımı
Governed table ve Iceberg tabloları ile ACID işlemleri
CloudTrail ile veri erişim denetimi

Modül 2

Modern Analitik: Gölden Makine Öğrenmesine

Lakehouse yaklaşımı: S3 + Iceberg + Redshift
SageMaker ile analitik veriden model eğitimi
Redshift ML ve Athena ML ile SQL tabanlı tahmin
Amazon Q in QuickSight ile doğal dil sorgusu
DataZone ile veri ürünü paylaşımı ve veri mesh yaklaşımı
Zero-ETL ve federated query ile veri taşımayı azaltma

Modül 3

Veri Kalitesi ve Yönetişim

Glue Data Quality ve DQDL kuralları
DataZone ile veri ürünü kataloglama ve yayınlama
Veri soy ağacı (lineage) ve meta veri yönetimi
PII maskeleme, Macie ve sütun düzeyi şifreleme
Veri saklama ve silme politikaları (KVKK/GDPR bakış açısı)
Veri sözleşmeleri ve veri sahipliği modeli

Modül 4

Toplu İşleme Performans ve Maliyet Optimizasyonu

Bölümleme ve sütunlu format ile taranan veri azaltma
Glue DPU, EMR Spot ve managed scaling ayarı
Spark shuffle, join stratejileri ve broadcast
Küçük dosya birleştirme ve dosya boyutu hedefi
Athena workgroup ve maliyet kontrolü
İzleme: Spark UI, CloudWatch ve Glue job metrikleri

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Modern Mimari

Göl–ambar–akış bileşenlerini birleştiren mimariyi tasarlarsınız.

🧱

Lakehouse

S3 ve Iceberg ile lakehouse tabloları oluşturursunuz.

🔐

Toplu İşleme

Glue ve EMR ile toplu dönüşüm hatları geliştirirsiniz.

⚙️

Akış İşleme

Kinesis ve Flink ile gerçek zamanlı işleme kurarsınız.

📈

Ambar ve Sorgu

Redshift ve Athena’yı amaca uygun kullanırsınız.

☁️

Görselleştirme

QuickSight ve OpenSearch ile dashboard hazırlarsınız.

🛠️

Yönetişim

Lake Formation ve DataZone ile veri yönetişimini uygularsınız.

🚀

ML Entegrasyonu

Analitik veriden Redshift ML veya SageMaker ile model üretirsiniz.

Kimler İçin Uygundur?

Veri mimarları
veri mühendisleri
analitik platform ekipleri ile modern veri mimarisine geçmek isteyen BT yöneticileri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mimarları, veri mühendisleri ve analitik platform ekipleri ile modern veri mimarisine geçmek isteyen BT yöneticileri için uygundur.

Eğitim hangi servisleri kapsar?

S3, Glue, EMR, Kinesis, Managed Flink, Redshift, Athena, OpenSearch, QuickSight, Lake Formation, DataZone ve SageMaker kapsanır.

Hem toplu hem akış var mı?

Evet, iki işleme modeli aynı senaryoda birleştirilir.

ML bilgisi gerekli mi?

Hayır, ML modülü tanıtım ve entegrasyon düzeyindedir.

Sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BUILDING MODERN DATA ANALYTICS SOLUTIONS ON AWS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Veri Gölü Mimari Tasarımı

Veri Alım Desenleri: DMS, DataSync, AppFlow, Transfer

Amazon S3 Nesne Depolama

AWS Glue ile ETL ve Veri Kataloğu

Amazon EMR ile Büyük Veri İşleme

Kinesis ile Akış Verisi Alımı

MSK ve Managed Flink ile Akış İşleme

Veri İş Akışı Orkestrasyonu: MWAA ve Step Functions

Amazon Redshift Veri Ambarı

Athena ile Sunucusuz SQL Analizi

QuickSight ve OpenSearch ile Görselleştirme

Akış Verisini Depolama ve Sorgulama

Lake Formation ile Veri Gölü Güvenliği

Modern Analitik: Gölden Makine Öğrenmesine

Veri Kalitesi ve Yönetişim

Toplu İşleme Performans ve Maliyet Optimizasyonu

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

AWS Messaging Services Overview Eğitimi

AWS Migration Essentials (AWSME) Eğitimi

AWS Migration Essentials Eğitimi

AWS Mimarlık Sertifikası Eğitimi

AWS Mobile Market Eğitimi