Veriyi üretim sistemi gibi güvenilir işlet
Veri gözlemlenebilirliğinin beş sütunu, otomatik veri kalitesi testleri (Great Expectations, dbt), veri SLA/SLO ve hata bütçesi, anomali ve drift tespiti ile olay yönetimi ve suçsuz postmortem süreçlerini kapsayan, güvenilir veri hatları işletmeyi öğreten ile…
Veri gözlemlenebilirliği, kalite, SLO ve olay yönetimi
Bu ileri seviye eğitim, veriyi bir üretim ürünü gibi güvenilir işletmeyi hedefleyen veri güvenilirlik mühendisliğini (DRE) ele alır. Veri gözlemlenebilirliğinin beş sütunu (tazelik, hacim, şema, dağılım, kökeni); veri kalitesi testleri ve beklenti kuralları (ör. Great Expectations/dbt tests) işlenir. Veri SLA, SLO ve SLI tanımı, hata bütçesi; veri kayması (drift) ve anomali tespiti; olay (incident) yönetimi, kök neden analizi ve blameless postmortem ele alınır. Veri kökeni (lineage), uyarı tasarımı ve otomasyon araçları uygulanır. Katılımcılar bir veri hattı için gözlemlenebilirlik ve kalite güvence çerçevesi kurabilir.
3 Gün. Her gün dört modül; katılımcılar gözlemlenebilirlikten kalite testlerine, SLO ve olay yönetimine ilerler.
İleri Seviye — Veri güvenilirlik mühendisliği (DRE) için gözlemlenebilirlik, veri kalitesi testleri, SLA/SLO ve olay yönetiminin uygulamalı ele alınması.
Katılımcılar örnek veri hatları üzerinde kalite testleri, uyarı ve SLO tanımını araçlarla uygulamalı kurar.
Veri sorunlarını kullanıcıdan önce fark eden bir izleme kurarsınız.
Otomatik testlerle hatalı veriyi üretime çıkmadan yakalarsınız.
SLO ve olay yönetimiyle veri olaylarını hızlı ve düzenli çözersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Veri hattı, SQL ve veri ambarı kavramlarına aşinalık beklenir.
Python ve SQL ile çalışma deneyimi gerekir.
ETL/ELT ve orkestrasyon deneyimi faydalı olur.
Örnek veri hattına ve bir ambar/araç ortamına erişim gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Tazelik, hacim, şema ve dağılımı izleyen bir sistem kurarsınız.
Veri kökeniyle etki ve kök neden analizini hızlandırırsınız.
Great Expectations ve dbt testleriyle kalite kapıları kurarsınız.
Testleri pipeline'a gömüp hatalı veriyi durdurursunuz.
Veri SLI/SLO ve hata bütçesi tanımlarsınız.
Drift ve anomalileri otomatik tespit edersiniz.
Veri olaylarını sınıflandırıp düzenli müdahale edersiniz.
Suçsuz postmortem ile tekrarı önleyici iyileştirme yaparsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
R vektörlerini sıfırdan öğrenin: c/seq/rep ile oluşturma, pozisyon ve mantıksal indeksleme, vektörel aritmetik, NA yönetimi ve apply ailesi.
Detayları Gör →
R ve RStudio kurulumu, değişkenler, veri tipleri, operatörler, fonksiyonlar, paket yönetimi ve ilk betikleri sıfırdan uygulamalı öğrenin.
Detayları Gör →
R'da matris, array ve liste yapılarını oluşturma, indeksleme, matris cebiri ve apply ailesiyle işlemeyi sıfırdan uygulamalı öğrenin.
Detayları Gör →
R'da veri çerçeveleri, faktörler ve string işlemeyi sıfırdan öğrenin: data.frame erişimi, factor seviyeleri ve gsub/regex ile metin temizleme.
Detayları Gör →
Ham veriyi içe alma, temizleme, keşifsel analiz ve hipotez testi/regresyonla içgörüye dönüştürmeyi Python/pandas ile uçtan uca öğrenin.
Detayları Gör →