Snowflake'e veriyi sürekli ve otomatik alın
Snowflake stage/COPY temeli, Snowpipe auto-ingest, Snowpipe Streaming ve Kafka connector ile düşük gecikmeli sürekli veri alımı kurmayı öğreten eğitim.
Snowflake sürekli veri alımı ve Snowpipe
Bu eğitim Snowflake'e sürekli (continuous) veri alımını öğretir. Snowpipe ile dosya tabanlı otomatik yükleme, cloud storage event bildirimleri (S3/Azure/GCS), auto-ingest ve REST API tetikleme işlenir. Snowpipe Streaming ile satır bazlı düşük gecikmeli alım, Kafka connector entegrasyonu ve exactly-once semantiği ele alınır. External/internal stage, COPY INTO, file format, hata yönetimi (COPY_HISTORY, validation), pipe izleme, maliyet (credit) yönetimi ve batch vs streaming karar kriterleri uygulamalı gösterilir.
3 Gün. Her gün dört modül; Snowpipe ve Snowpipe Streaming labler içerir.
Orta Seviye — Snowflake'e sürekli veri alımı: Snowpipe, Snowpipe Streaming ve auto-ingest desenlerini kapsar.
Cloud storage'tan Snowpipe auto-ingest ve Kafka'dan Snowpipe Streaming kurarak öğrenilir.
Snowpipe ile dosyalar geldikçe otomatik yüklersiniz.
Snowpipe Streaming ile satır bazlı near-real-time alım kurarsınız.
Kafka connector ile akış verisini Snowflake'e taşırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Temel Snowflake, stage ve COPY kavramları gerekir.
S3/Azure/GCS ve event bildirimlerine aşinalık faydalıdır.
Temel SQL ve file format tanımı gerekir.
Pipe, stage ve integration oluşturacak rol erişimi gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Stage ve COPY INTO ile yükleme altyapısını kurarsınız.
CSV/JSON/Parquet ve VARIANT verisini yükleyip çözersiniz.
Pipe ile serverless otomatik yükleme tanımlarsınız.
Cloud event bildirimiyle olay tabanlı alım kurarsınız.
Snowpipe Streaming ile satır bazlı near-real-time alım yaparsınız.
Kafka connector ile akış verisini Snowflake'e taşırsınız.
COPY/PIPE history ile alımı ve hataları izlersiniz.
Batch ve streaming arasında maliyet-gecikme dengesiyle seçersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Amazon Redshift ile analitik çözüm: star schema modelleme, COPY/ELT yükleme, analitik SQL, materialized view, Spectrum ve BI entegrasyonunu öğrenin.
Detayları Gör →
Batch/incremental veri hatları: kaynak çıkarma, ELT dönüşüm, orkestrasyon (DAG), veri kalitesi, şema evrimi ve gözlemlenebilirliği uygulamalı öğrenin.
Detayları Gör →
Snowflake'te Streams, Tasks ve Dynamic Tables ile CDC, zamanlama, TARGET_LAG tabanlı bildirimsel dönüşüm ve sürekli veri hatları kurmayı öğrenin.
Detayları Gör →
Databricks SQL ve PySpark ile veri keşfi, Delta tabloları sorgulama, pencere fonksiyonları, profilleme ve dashboard kurmayı uygulamalı öğrenin.
Detayları Gör →
Veri mühendisliği temelleri: depolama (ambar/göl/lakehouse), ETL/ELT, dosya formatları, modelleme, orkestrasyon ve bulut servislerini uygulamalı öğrenin.
Detayları Gör →