Building Streaming Data Analytics Solutions on AWS

Eğitim Hakkında

Kinesis, MSK, Managed Flink, OpenSearch ve akış hattı operasyonu

Building Streaming Data Analytics Solutions on AWS eğitimi, gerçek zamanlı veri akışlarını AWS üzerinde işleyecek mühendislere yöneliktir. Kinesis Data Streams shard ve partition key tasarımı, KPL/KCL ve enhanced fan-out, Firehose dönüşümü ve dinamik bölümleme, Amazon MSK ve Kafka konuları, Managed Flink ile pencereleme ve watermark, OpenSearch ve Redshift streaming ingestion, QuickSight dashboard ve consumer lag izleme uygulamalı laboratuvarlarla işlenir.

Süre ve Format

3 Gün. Her gün dört modül; katılımcılar kinesis, MSK, Managed Flink, OpenSearch ve akış hattı operasyonu eksenlerinde aşamalı olarak uygulamalı çalışır.

Seviye

İleri Seviye — AWS üzerinde akış verisi analitiği: Kinesis, MSK, Managed Flink, OpenSearch ve gerçek zamanlı görselleştirme.

Öğrenme Metodu

Katılımcılar üretici uygulamadan hedef depoya kadar gerçek zamanlı bir akış hattını laboratuvarda kurar, ölçekler ve izler.

Neden Bu Eğitim?

🌊Gerçek Zamanlı Veri

Saniyeler içinde gelen olayları işleyip anlamlı çıktıya dönüştürürsünüz.

📏Ölçekleme Hakimiyeti

Shard, partition ve consumer yapısını yük altında doğru ayarlarsınız.

🧯Dayanıklı Hatlar

Retry, checkpoint ve DLQ ile veri kaybını önleyen hatlar kurarsınız.

Anahtar Konular

AWS akış analitiğistreaming data analytics AWSAmazon KinesisAmazon MSK KafkaManaged Service for Apache FlinkKinesis FirehoseAWS OpenSearchgerçek zamanlı veri işlemeAWS veri mühendisliğiAWS streaming eğitimiBuilding Streaming Data Analytics Solutions on AWS

“Akış analitiğinde değer, veriden çok verinin ne kadar çabuk anlaşıldığındadır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Programlama

Python veya Java ile temel kodlama beklenir.

2

SQL Bilgisi

SQL ve veri işleme kavramlarına aşinalık gerekir.

3

AWS Temelleri

S3, IAM ve Lambda gibi temel servislerin bilinmesi faydalıdır.

4

Çalışma Ortamı

Laboratuvarlar için eğitimde sağlanan AWS sandbox hesabı ve tarayıcı yeterlidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı akış mimarisi tasarlar ve Kinesis ile yüksek hacimli veri alım hattı kurar.

Modül 1

Akış Analitiği Mimarisi

Akış ve toplu işleme farkı, Lambda ve Kappa mimarisi
Gecikme, tam-bir-kere (exactly-once) ve sıra garantileri
Kinesis, MSK ve SQS arasında seçim kriterleri
Pencere (window) türleri ve durum yönetimi
Akış verisi şema kayıt defteri: Glue Schema Registry
Referans mimari: IoT sensör ve tıklama akışı analizi

Modül 2

Kinesis ile Akış Verisi Alımı

Kinesis Data Streams: shard, partition key ve sıra garantisi
Provisioned ve on-demand kapasite modu, hot shard sorunu
KPL, KCL ve enhanced fan-out ile üretici/tüketici geliştirme
Kinesis Data Firehose ile S3, Redshift, OpenSearch’e teslim
Firehose dönüşümü: Lambda, Parquet dönüştürme, dinamik bölümleme
Veri saklama süresi, replay ve iteratör türleri

Modül 3

SQS, SNS ve EventBridge ile Olay Tabanlı Mimari

SQS standart ve FIFO kuyrukları, visibility timeout ve long polling
Dead-letter queue ve redrive politikası
SNS topic, abonelik ve message filtering
SNS + SQS fan-out deseni
EventBridge event bus, kural ve şema kayıt defteri (Schema Registry)
EventBridge Pipes ve Scheduler ile entegrasyon

Modül 4

Veri Alım Desenleri: DMS, DataSync, AppFlow, Transfer

DMS full load + CDC ile veritabanından göle aktarım
AppFlow ile SaaS kaynaklarından (Salesforce, SAP) veri çekme
Transfer Family ile SFTP/FTPS uç noktası
DataSync ile şirket içi dosya sunucularından alım
Firehose ve Kinesis ile gerçek zamanlı alım
Toplu, mikro-toplu ve akış alımı karşılaştırması

Günün hedefiKatılımcı Kafka ve Flink ile akış işleme uygular ve sonuçları uygun depolara yazar.

Modül 1

MSK ve Managed Flink ile Akış İşleme

Amazon MSK kümesi, broker, topic ve partition yapısı
MSK Serverless ve MSK Connect ile entegrasyon
Apache Flink pencereleme: tumbling, sliding, session
Event time, watermark ve geç gelen veri yönetimi
Managed Service for Apache Flink uygulama dağıtımı ve checkpoint
Kafka ve Kinesis seçimi için ödünleşim analizi

Modül 2

Akış Verisini Depolama ve Sorgulama

Firehose ile S3 Parquet ve dinamik bölümleme
OpenSearch ile gerçek zamanlı log ve arama
Timestream ve DynamoDB ile zaman serisi verisi
Redshift streaming ingestion ve materialized view
Athena ile akış verisinin sorgulanması
QuickSight ile yakın gerçek zamanlı dashboard

Modül 3

AWS Lambda ile Sunucusuz Fonksiyonlar

Çalışma zamanları, handler yapısı ve olay (event) modeli
Bellek/CPU ayarı, timeout ve ephemeral storage
Cold start nedenleri, provisioned concurrency ve SnapStart
Lambda layer ve container image tabanlı fonksiyonlar
Eşzamansız çağrı, retry, dead-letter queue ve destinations
Reserved concurrency ve ortam değişkenleri ile yapılandırma

Modül 4

AWS Glue ile ETL ve Veri Kataloğu

Glue Data Catalog, database ve table yapısı
Crawler ile şema çıkarımı ve şema evrimi
Glue ETL işleri: PySpark, DynamicFrame ve job bookmark
Glue Studio ile görsel ETL ve Glue DataBrew
Worker tipleri (G.1X, G.2X), DPU ve maliyet ayarı
Glue workflow, trigger ve Glue Data Quality kuralları

Günün hedefiKatılımcı akış hatlarını ölçekler, izler ve dayanıklı hale getirir; sonuçları dashboard ile sunar.

Modül 1

Akış Hatları: Ölçekleme, İzleme ve Dayanıklılık

Shard bölme/birleştirme ve on-demand ölçekleme
Consumer lag, IteratorAge ve GetRecords.IteratorAgeMilliseconds
Hata yönetimi: dead-letter, retry, backpressure
Checkpoint, savepoint ve uygulama sürümlemesi
Çok AZ ve bölgeler arası dayanıklılık
Maliyet optimizasyonu: kapasite modu, aggregation, sıkıştırma

Modül 2

QuickSight ve OpenSearch ile Görselleştirme

QuickSight SPICE ve doğrudan sorgu modları
Dataset, analysis, dashboard ve hesaplanmış alanlar
Satır düzeyi güvenlik ve gömülü (embedded) analitik
OpenSearch Service domain, index ve shard tasarımı
OpenSearch Dashboards ile log ve metrik analizi
Kinesis Firehose ile OpenSearch’e gerçek zamanlı indeksleme

Modül 3

CloudWatch ile İzleme ve Alarm

Metrik, namespace, dimension ve özel (custom) metrik yayınlama
CloudWatch Agent ile bellek ve disk metriği toplama
Alarm, composite alarm ve SNS bildirim entegrasyonu
CloudWatch Logs, log group, metric filter ve Logs Insights sorguları
Dashboard oluşturma ve Contributor Insights
EventBridge kuralları ile olay tabanlı otomasyon

Modül 4

KMS, Secrets Manager ve Veri Koruma

KMS müşteri yönetimli anahtarlar (CMK), key policy ve grant
Envelope encryption ve data key üretimi
Secrets Manager ile otomatik parola rotasyonu
Systems Manager Parameter Store: String ve SecureString
ACM ile TLS sertifikası yönetimi
CloudHSM ve KMS arasındaki kullanım farkları

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Akış Mimarisi

Akış ve toplu işleme farkını ve Lambda/Kappa mimarilerini açıklarsınız.

🧱

Kinesis Alımı

Data Streams ile üretici ve tüketici uygulamaları geliştirirsiniz.

🔐

Firehose Teslimi

Firehose ile S3 Parquet ve OpenSearch teslimini kurarsınız.

⚙️

MSK ve Kafka

MSK kümesi ve topic tasarımını yaparsınız.

📈

Flink İşleme

Managed Flink ile pencereleme ve durum yönetimi uygularsınız.

☁️

Depolama Seçimi

Akış çıktısı için uygun hedef depoyu seçersiniz.

🛠️

Operasyon

Consumer lag, shard ölçekleme ve alarm yönetimi yaparsınız.

🚀

Gerçek Zamanlı Panel

QuickSight ile yakın gerçek zamanlı dashboard sunarsınız.

Kimler İçin Uygundur?

Veri mühendisleri
akış platformu geliştiricileri ve IoT
log veya tıklama akışı analitiği yapacak ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, akış platformu geliştiricileri ve IoT, log veya tıklama akışı analitiği yapacak ekipler için uygundur.

Kinesis ve Kafka karşılaştırılıyor mu?

Evet, Kinesis ile MSK arasında ödünleşim analizi ve seçim ölçütleri işlenir.

Flink uygulaması yazılıyor mu?

Managed Flink ile pencereleme örnekleri laboratuvarda çalıştırılır.

Maliyet konusu var mı?

Kapasite modu, aggregation ve sıkıştırma ile maliyet optimizasyonu işlenir.

Sertifika verilir mi?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BUILDING STREAMING DATA ANALYTICS SOLUTIONS ON AWS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Akış Analitiği Mimarisi

Kinesis ile Akış Verisi Alımı

SQS, SNS ve EventBridge ile Olay Tabanlı Mimari

Veri Alım Desenleri: DMS, DataSync, AppFlow, Transfer

MSK ve Managed Flink ile Akış İşleme

Akış Verisini Depolama ve Sorgulama

AWS Lambda ile Sunucusuz Fonksiyonlar

AWS Glue ile ETL ve Veri Kataloğu

Akış Hatları: Ölçekleme, İzleme ve Dayanıklılık

QuickSight ve OpenSearch ile Görselleştirme

CloudWatch ile İzleme ve Alarm

KMS, Secrets Manager ve Veri Koruma

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Introduction to AWS Snowball Edge Eğitimi

Introduction to AWS Snowmobile Eğitimi

Introduction to AWS Step Functions Eğitimi

Introduction to AWS Storage Gateway Eğitimi

Introduction to AWS Trusted Advisor Eğitimi