Veriyi kaynaktan hedefe güvenle taşımayı öğren
Veriyi kaynaktan analitik hedefe taşıyan boru hatlarını kurmayı öğreten uygulamalı eğitim: çıkarma, dönüştürme, idempotent yükleme, orkestrasyon ve akış tabanlı aktarım.
ETL/ELT boru hatları, aktarım biçimleri, batch ve stream yükleme desenleri
Bu eğitim, veriyi operasyonel kaynaklardan analitik hedeflere taşıyan boru hatlarını tasarlamayı öğretir. CSV, JSON, Parquet ve Avro biçimleri; sıkıştırma (gzip, Snappy) ve şema evrimi; full/incremental extract ve CDC (change data capture) kavramları işlenir. ETL ile ELT yaklaşımları karşılaştırılır; staging katmanı, idempotent/upsert yükleme, batch ile mikro-batch ve stream aktarım (Kafka, Kinesis) ele alınır. Katılımcılar SQL, bulk copy ve bir orkestrasyon aracıyla (Airflow) hatayı tolere eden, yeniden çalıştırılabilir bir veri taşıma akışı kurar.
3 Gün. Her gün dört modül; katılımcılar veri taşımayı çıkarma, dönüştürme, yükleme ve orkestrasyon eksenlerinde aşamalı olarak kurar.
Orta Seviye — Veri taşıma ve ETL/ELT boru hatlarında veri çıkarma, dönüştürme, toplu/aktarımlı yükleme ve aktarım biçimlerinin uçtan uca ele alınması.
Katılımcılar gerçek kaynak dosyaları ve bir veritabanı üzerinde boru hatlarını adım adım kodlayıp Airflow DAG'ı ile orkestre ederek uygular.
Idempotent ve yeniden çalıştırılabilir yükleme desenleriyle veri kaybı ve çift kayıt riskini ortadan kaldırırsınız.
Parquet, Avro ve sıkıştırma seçimiyle aktarım maliyetini ve okuma performansını optimize edersiniz.
İş yüküne göre toplu ve akış tabanlı aktarım arasında bilinçli seçim yaparsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, JOIN ve INSERT seviyesinde SQL bilgisi gerekir.
Dosya işlemleri için temel terminal kullanımına aşinalık faydalıdır.
Betik yazmak için temel Python bilgisi önerilir.
Docker veya yerel bir veritabanı kurulabilen bir bilgisayar.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Veritabanı, API ve dosya kaynaklarından veriyi doğru biçimde çıkarabilirsiniz.
Parquet, Avro ve sıkıştırmayı iş yüküne göre seçebilirsiniz.
MERGE ve upsert ile tekrar güvenli yükleme yapabilirsiniz.
Değişiklik yakalama ile artımlı aktarım kurabilirsiniz.
Airflow DAG'ı ile boru hattını zamanlayıp yönetebilirsiniz.
Kafka ile akış tabanlı aktarım kurabilirsiniz.
Yükleme sırasında kalite kontrolleri uygulayabilirsiniz.
Gecikme ve hata metrikleriyle hattı izleyebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Arz-talep dengesi: talep tahmini, EOQ ve güvenlik stoğu, ROP, bullwhip etkisi ve S&OP ile envanter ve kapasite kararlarını veriyle optimize etmeyi öğrenin.
Detayları Gör →
Kurumsal BT trendleri, analitik olgunluk modeli ve veri odaklı uygulama geliştirme: bulut, mikroservis, API-first ve gömülü analitiği bir yol haritasında birleş
Detayları Gör →
Pentaho (Kettle) ile görsel ETL: Spoon'da transformation ve job tasarımı, girdi/çıktı adımları, dönüşümler, lookup, hata yönetimi ve zamanlamayı öğrenin.
Detayları Gör →
İleri Pentaho: Carte kümeleme, metadata injection, Hadoop/Hive/Spark Big Data adımları, CDC, SCD, performans ayarı ve CI/CD ile kurumsal ETL mimarisi kurun.
Detayları Gör →
Orta seviye Pentaho: yıldız şema boyut/olgu yükleme, SCD Tip 1/2, lookup stratejileri, hata akışı, parametre ve artımlı yükleme ile ambar ETL tasarlayın.
Detayları Gör →