Veriyi güvenle akıt, hatada sorunsuz tekrarla
Büyük ölçekli veri işleme hatlarını SRE ilkeleriyle tasarlayan ileri seviye eğitim: batch ve streaming modelleri, DAG orkestrasyonu, idempotentlik, teslim semantiği, checkpoint, geri basınç, pencereleme, watermark ve veri freshness/tamlık SLO'ları.
Veri hatlarının güvenilirliği, idempotentliği ve gözlemlenebilirliği
Bu ileri seviye eğitim, büyük ölçekli veri işleme hatlarının güvenilir tasarımını SRE perspektifiyle ele alır. Batch (toplu) ve streaming (akış) işleme modelleri, MapReduce/DAG tabanlı iş akışları, idempotent operasyonlar ve exactly-once ile at-least-once semantiği işlenir. Checkpoint, geri basınç (backpressure), watermark, pencereleme (windowing) ve geç gelen veri yönetimi; thundering herd, uneven work distribution ve 'periodic pipeline' tuzaklarından kaçınma uygulanır. Katılımcılar veri freshness ve tamlık (completeness) için SLI/SLO tanımlar, dead-letter kuyruğu ve yeniden işleme (reprocessing) tasarlar; bir pipeline'ı baştan kurup hata enjekte ederek dayanıklılığını ölçer.
4 Gün. Her gün dört modül; katılımcılar basit batch'ten dayanıklı streaming pipeline'a doğru ilerler.
İleri Seviye — Güvenilir, idempotent ve gözlemlenebilir veri işleme hatlarının (data pipeline) SRE ilkeleriyle tasarlanması.
Katılımcılar örnek bir pipeline'ı adım adım kurar, idempotentlik ve checkpoint ekler, hata enjekte ederek yeniden işleme davranışını lab ortamında doğrular.
İşlemleri güvenle tekrarlanabilir tasarlar, yeniden denemede çift kayıt oluşturmazsınız.
Veri tazeliği ve tamlığı için SLI tanımlar, gecikmeyi ölçülebilir hedefe bağlarsınız.
Geri basınç, checkpoint ve dead-letter ile kısmi hatalarda pipeline'ı ayakta tutarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Mesaj kuyruğu ve dağıtık işleme kavramlarına temel aşinalık beklenir.
SLI/SLO ve error budget kavramlarına temel aşinalık faydalıdır.
Bir dilde (Python/Java/Go) veri işleme kodu okuyabilme beklenir.
Kafka/PubSub benzeri bir kuyruk ve işleme çalıştırabilen bir ortam.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Batch ve streaming arasında iş gereksinimine göre doğru modeli seçersiniz.
İş akışlarını DAG olarak modeller ve orkestrasyonla yönetirsiniz.
Idempotent operasyonlar tasarlar ve yeniden denemede çift kaydı önlersiniz.
At-least-once ve effectively-once semantiğini doğru şekilde uygularsınız.
Geri basınç ve pencereleme ile streaming pipeline'ı kararlı tutarsınız.
Tazelik ve tamlık için SLI/SLO tanımlar ve error budget yönetirsiniz.
Dead-letter, checkpoint ve hata enjeksiyonuyla dirençli hatlar kurarsınız.
İzleme, runbook ve otomasyonla pipeline'ı sürdürülebilir işletirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Azure Pipelines'ta YAML template, parametre, task group ve merkezi şablon kütüphanesiyle tekrar kullanılabilir CI/CD bileşenleri. İleri seviye AZ-400 eğitimi.
Detayları Gör →
Azure Pipelines'ta test otomasyonu, kod kapsamı eşiği, SonarQube quality gate ve PR branch policy ile kalite denetimi. İleri seviye AZ-400 DVA eğitimi.
Detayları Gör →
Azure Boards ile backlog, sprint ve Kanban yönetimi; commit-PR-build-release izlenebilirliği ve analytics raporlama. Orta seviye AZ-400 DVA eğitimi.
Detayları Gör →
Azure DevOps ve GitHub ile uçtan uca DevOps: Git, CI/CD, dağıtım desenleri, ARM/Bicep, Terraform, DevSecOps ve Azure Monitor. İleri seviye AZ-400 DVA eğitimi.
Detayları Gör →
Azure DevOps'un Boards, Repos, Pipelines, Artifacts ve Test Plans servislerini uçtan uca kullanın. CI/CD, paket ve test yönetimi. Orta seviye DVA eğitimi.
Detayları Gör →