Veriyi alımdan yayınlamaya kadar yönet
Büyük veriyi uçtan uca yönetmeyi öğreten orta seviye eğitim: veri alımı, katmanlı depolama, ETL/ELT dönüşümü, veri kalitesi boyutları, metadata ve katalog, soy kütüğü, yönetişim rolleri ile KVKK/GDPR uyumu ve maliyet yönetimi.
Veri yaşam döngüsü, yönetişim, kalite ve metadata yönetimi
Bu orta seviye eğitim, büyük veriyi bir varlık olarak uçtan uca yönetme sürecine odaklanır. Veri alımı (batch ve stream ingestion), ham ve işlenmiş katmanlarda depolama, dönüşüm ve işleme adımları; veri kalitesi kontrolleri, metadata ve veri katalogu, soy kütüğü (lineage) takibi işlenir. Ayrıca veri yönetişimi (governance), erişim kontrolü, yaşam döngüsü ve saklama politikaları, KVKK/GDPR uyumu ve maliyet yönetimi ele alınır. Katılımcılar bir veri yönetim süreci tasarlayarak rolleri, denetim noktalarını ve kalite metriklerini belirler. Süreç, teknik araçlardan bağımsız olarak kurumsal uygulanabilir biçimde kurulur.
3 Gün. Her gün dört modül; katılımcılar veri yaşam döngüsünün aşamalarını süreç ve yönetişim perspektifiyle ele alır.
Orta Seviye — Büyük veri yaşam döngüsünün alım, depolama, işleme, yönetişim ve yayınlama süreçlerinin uçtan uca yönetilmesi.
Katılımcılar örnek bir kurum senaryosu üzerinden veri akış şemaları, kalite kuralları ve yönetişim politikaları tasarlayarak öğrenir.
Veriyi alımdan arşive kadar aşama aşama yönetmeyi öğrenirsiniz.
Erişim, soy kütüğü ve uyum kurallarını süreçlere oturtursunuz.
Kalite metrikleri ve kontrol noktalarıyla güvenilir veri üretirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Temel veri ve veritabanı kavramlarına aşinalık beklenir.
Hadoop/Spark gibi araçların ne işe yaradığını bilmek faydalıdır.
İş süreçleri ve rol/sorumluluk kavramlarına aşinalık yararlıdır.
Akış şemaları ve politika belgeleri hazırlamak için bir bilgisayar.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Batch, stream ve CDC alım yöntemlerini seçip tasarlarsınız.
Bronze/silver/gold katman stratejisini kurarsınız.
ETL/ELT süreçlerini ve temizleme adımlarını düzenlersiniz.
Kalite boyutlarını ölçer ve kontrol kuralları yazarsınız.
Katalog, soy kütüğü ve iş sözlüğü ile veriyi keşfedilebilir yaparsınız.
Rol, politika ve olgunluk modeliyle yönetişim kurarsınız.
KVKK/GDPR gereksinimlerini süreçlere yansıtırsınız.
Depolama/işleme maliyetini izler ve optimize edersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Apache Spark'a başlayın: dağıtık işleme modeli, driver/executor mimarisi, RDD dönüşüm/eylemleri, DataFrame, Spark SQL ve ilk veri işleme işi.
Detayları Gör →
R'ı büyük veriyle ölçekli kullanın: data.table performansı, sparklyr/SparkR ile Spark bağlantısı, dplyr dağıtık işleme, MLlib modelleme ve spark_apply.
Detayları Gör →
Spark SQL ile büyük veriyi sorgulayın: DataFrame/SQL, JOIN türleri, pencere fonksiyonları, UDF, Catalyst plan analizi, pushdown, AQE ve performans ayarı.
Detayları Gör →
Spark Structured Streaming ve Kafka ile üretim ölçeğinde akış işleme: olay zamanı pencereleme, stateful join, exactly-once, RocksDB state store ve izleme.
Detayları Gör →
Karmaşık Kafka iş akışlarını zamanlayın, ölçekleyin ve orkestre edin: partition/consumer ölçekleme, cooperative rebalance, KEDA, Strimzi ve dayanıklı mimari.
Detayları Gör →