Building Batch Data Analytics Solutions on AWS (BBDAS)

Eğitim Hakkında

Glue, EMR, Athena, Redshift ve QuickSight ile toplu analitik

Building Batch Data Analytics Solutions on AWS (BBDAS) eğitimi, veri mühendisleri ve analitik mimarlar için toplu analitik hatlarının AWS üzerinde kurulumunu işler. S3 katmanlı veri gölü, Glue Data Catalog ve crawler, Glue PySpark ETL, EMR Spark, Step Functions/MWAA orkestrasyonu, Lake Formation yetkilendirmesi, Athena ile Parquet ve bölümleme optimizasyonu, Redshift ambarı ve QuickSight görselleştirme uygulamalı laboratuvarlarla ele alınır.

Süre ve Format

3 Gün. Her gün dört modül; katılımcılar glue, EMR, Athena, Redshift ve QuickSight ile toplu analitik eksenlerinde aşamalı olarak uygulamalı çalışır.

Seviye

İleri Seviye — AWS üzerinde toplu veri analitiği çözümlerinin S3, Glue, EMR, Athena, Redshift ve QuickSight ile tasarlanıp uygulanması.

Öğrenme Metodu

Katılımcılar ham veriyi alıp katalogladıkları, dönüştürdükleri ve Redshift/QuickSight ile sundukları uçtan uca bir toplu analitik hattını laboratuvarda inşa eder.

Neden Bu Eğitim?

🗄️Toplu İşleme

Glue ve EMR ile yüksek hacimli veriyi ölçeklenebilir biçimde dönüştürürsünüz.

🔎Sunucusuz Sorgu

Athena ile Parquet ve bölümleme optimizasyonlu hızlı ve ucuz sorgular yazarsınız.

📊Uçtan Uca Hat

Alımdan raporlamaya tam bir analitik zinciri kurarsınız.

Anahtar Konular

AWS toplu veri analitiğibatch data analytics AWSAWS Glue ETLAWS EMRAmazon AthenaAmazon RedshiftAWS veri mühendisliğiLake FormationQuickSightAWS veri analitiği eğitimiBBDAS

“İyi analitik hat, veriyi taşıyan değil, veriye güvenilir cevap üreten hattır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

Orta düzeyde SQL yazabilmek gerekir.

2

Veri Kavramları

ETL, veri ambarı ve veri gölü kavramlarına aşinalık beklenir.

3

AWS Temelleri

S3, IAM ve temel AWS servislerine giriş düzeyi hakimiyet faydalıdır.

4

Çalışma Ortamı

Laboratuvarlar için eğitimde sağlanan AWS sandbox hesabı ve tarayıcı yeterlidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı toplu analitik mimarisini kurar, S3 üzerinde kataloglanmış veriyi Athena ile sorgular.

Modül 1

Toplu Analitik Mimarisi ve Hizmet Seçimi

Toplu analitik hat bileşenleri: alım, depolama, işleme, sunum
Glue, EMR ve Athena arasında iş yüküne göre seçim
Veri hacmi, gecikme ve maliyet ölçütleri
Medallion (bronze/silver/gold) katmanlı tasarım
SLA, bağımlılık ve zamanlama gereksinimleri
Referans mimari: günlük satış verisi analizi

Modül 2

Amazon S3 Nesne Depolama

Bucket, nesne, prefix ve S3 tutarlılık modeli
Storage class: Standard, Intelligent-Tiering, Glacier Instant/Flexible/Deep Archive
Lifecycle kuralları ve versioning ile nesne yaşam döngüsü
Bucket policy, Block Public Access ve S3 Object Ownership
SSE-S3, SSE-KMS ve istemci taraflı şifreleme
Cross-Region Replication, event notification ve presigned URL

Modül 3

AWS Glue ile ETL ve Veri Kataloğu

Glue Data Catalog, database ve table yapısı
Crawler ile şema çıkarımı ve şema evrimi
Glue ETL işleri: PySpark, DynamicFrame ve job bookmark
Glue Studio ile görsel ETL ve Glue DataBrew
Worker tipleri (G.1X, G.2X), DPU ve maliyet ayarı
Glue workflow, trigger ve Glue Data Quality kuralları

Modül 4

Athena ile Sunucusuz SQL Analizi

Athena motoru (Trino/Presto) ve S3 üzerinde sorgulama
Parquet/ORC sütunlu format, sıkıştırma ve bölümleme (partitioning)
Partition projection ve MSCK REPAIR TABLE
CTAS ve INSERT INTO ile veri dönüşümü
Workgroup, sorgu limiti ve taranan veri bazlı maliyet kontrolü
Federated query ve Apache Iceberg tabloları

Günün hedefiKatılımcı Glue ve EMR ile büyük ölçekli dönüşümler geliştirir, iş akışlarını orkestre eder ve erişimi Lake Formation ile yönetir.

Modül 1

Veri Alım Desenleri: DMS, DataSync, AppFlow, Transfer

DMS full load + CDC ile veritabanından göle aktarım
AppFlow ile SaaS kaynaklarından (Salesforce, SAP) veri çekme
Transfer Family ile SFTP/FTPS uç noktası
DataSync ile şirket içi dosya sunucularından alım
Firehose ve Kinesis ile gerçek zamanlı alım
Toplu, mikro-toplu ve akış alımı karşılaştırması

Modül 2

Amazon EMR ile Büyük Veri İşleme

EMR cluster mimarisi: primary, core ve task düğümleri
Spark, Hive ve Presto/Trino uygulamaları
Instance fleet, Spot kullanımı ve managed scaling
EMR Serverless ve EMR on EKS
EMRFS, S3 üzerinde Hudi/Iceberg tabloları
Spark performans ayarı: shuffle, executor belleği, skew

Modül 3

Veri İş Akışı Orkestrasyonu: MWAA ve Step Functions

Managed Workflows for Apache Airflow: DAG, operator, sensor
Airflow ortam yapılandırması, requirements.txt ve plugins
Step Functions ile Glue/EMR iş zincirleri
EventBridge ile tetikleme ve zamanlama
Hata yönetimi, yeniden deneme ve idempotent iş tasarımı
Pipeline izleme: CloudWatch metrikleri, alarm ve SLA

Modül 4

Lake Formation ile Veri Gölü Güvenliği

Data lake yönetici rolleri ve kayıtlı S3 konumları
Veritabanı, tablo, sütun ve satır düzeyinde yetkilendirme
LF-Tag tabanlı erişim kontrolü (TBAC)
Hesaplar arası veri paylaşımı
Governed table ve Iceberg tabloları ile ACID işlemleri
CloudTrail ile veri erişim denetimi

Günün hedefiKatılımcı işlenmiş veriyi Redshift ile sunar, QuickSight ile görselleştirir ve hattı performans ve maliyet açısından iyileştirir.

Modül 1

Amazon Redshift Veri Ambarı

Redshift mimarisi: leader node, compute node, RA3 ve managed storage
Distribution style (KEY, ALL, EVEN, AUTO) ve sort key seçimi
COPY ve UNLOAD komutlarıyla S3 veri yükleme
Workload Management (WLM), Short Query Acceleration, concurrency scaling
Redshift Spectrum ile S3’teki veriyi sorgulama
Materialized view, VACUUM, ANALYZE ve sıkıştırma kodlaması

Modül 2

QuickSight ve OpenSearch ile Görselleştirme

QuickSight SPICE ve doğrudan sorgu modları
Dataset, analysis, dashboard ve hesaplanmış alanlar
Satır düzeyi güvenlik ve gömülü (embedded) analitik
OpenSearch Service domain, index ve shard tasarımı
OpenSearch Dashboards ile log ve metrik analizi
Kinesis Firehose ile OpenSearch’e gerçek zamanlı indeksleme

Modül 3

Toplu İşleme Performans ve Maliyet Optimizasyonu

Bölümleme ve sütunlu format ile taranan veri azaltma
Glue DPU, EMR Spot ve managed scaling ayarı
Spark shuffle, join stratejileri ve broadcast
Küçük dosya birleştirme ve dosya boyutu hedefi
Athena workgroup ve maliyet kontrolü
İzleme: Spark UI, CloudWatch ve Glue job metrikleri

Modül 4

Veri Kalitesi ve Yönetişim

Glue Data Quality ve DQDL kuralları
DataZone ile veri ürünü kataloglama ve yayınlama
Veri soy ağacı (lineage) ve meta veri yönetimi
PII maskeleme, Macie ve sütun düzeyi şifreleme
Veri saklama ve silme politikaları (KVKK/GDPR bakış açısı)
Veri sözleşmeleri ve veri sahipliği modeli

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Mimari Seçim

Toplu analitik için Glue, EMR ve Athena arasında gerekçeli seçim yaparsınız.

🧱

S3 Veri Gölü

Katmanlı S3 gölü ve bölümleme şeması tasarlarsınız.

🔐

Veri Kataloğu

Glue Data Catalog ve crawler ile şemaları yönetirsiniz.

⚙️

Glue ETL

PySpark Glue işleri ve job bookmark ile dönüşüm geliştirirsiniz.

📈

EMR Spark

EMR üzerinde Spark işlerini çalıştırır ve ayarlarsınız.

☁️

Orkestrasyon

Step Functions veya MWAA ile veri hattını orkestre edersiniz.

🛠️

Redshift Sunumu

İşlenmiş veriyi Redshift’e yükleyip modellemeyi uygularsınız.

🚀

Raporlama ve Maliyet

QuickSight ile dashboard hazırlar, hattı performans ve maliyet açısından optimize edersiniz.

Kimler İçin Uygundur?

Veri mühendisleri
analitik mimarlar
BI geliştiricileri
AWS’te büyük ölçekli toplu işleme hatları kuracak ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, analitik mimarlar, BI geliştiricileri ve AWS’te büyük ölçekli toplu işleme hatları kuracak ekipler için uygundur.

Hangi servisler uygulamalı işlenir?

S3, Glue, EMR, Athena, Step Functions/MWAA, Lake Formation, Redshift ve QuickSight uygulamalı işlenir.

Spark bilgisi gerekli mi?

Temel PySpark bilgisi faydalıdır; Glue ve EMR modüllerinde gerekli kavramlar hatırlatılır.

Akış verisi kapsanıyor mu?

Odak toplu işlemedir; akış için ayrı Streaming Data Analytics eğitimi önerilir.

Sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BUILDING BATCH DATA ANALYTICS SOLUTIONS ON AWS (BBDAS) EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Toplu Analitik Mimarisi ve Hizmet Seçimi

Amazon S3 Nesne Depolama

AWS Glue ile ETL ve Veri Kataloğu

Athena ile Sunucusuz SQL Analizi

Veri Alım Desenleri: DMS, DataSync, AppFlow, Transfer

Amazon EMR ile Büyük Veri İşleme

Veri İş Akışı Orkestrasyonu: MWAA ve Step Functions

Lake Formation ile Veri Gölü Güvenliği

Amazon Redshift Veri Ambarı

QuickSight ve OpenSearch ile Görselleştirme

Toplu İşleme Performans ve Maliyet Optimizasyonu

Veri Kalitesi ve Yönetişim

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

AWS SysOps Associate: VPC Peering & Endpoints Eğitimi

AWS Technical Essentials (AWSE) Eğitimi

AWS Technical Essentials Eğitimi

AWS Teknik Temel Konsepler Eğitimi

AWS Teknik Temelleri Eğitimi