Dataform ile BigQuery SQL hatlarını yönetin
Bu eğitim, BigQuery dönüşümlerini Dataform ile yazılım mühendisliği disiplinine taşır. Eğitim 2 gün sürer; her günde dört modül uygulamalı laboratuvarlarla işlenir.
Dataform ile BigQuery’de kod olarak yönetilen SQL dönüşüm hatları
Bu eğitim, BigQuery dönüşümlerini Dataform ile yazılım mühendisliği disiplinine taşır. SQLX dosyaları ve ref() ile bağımlılık grafı, table/view/incremental/operations türleri, assertions ile veri kalitesi, release ve workflow configuration, Git entegrasyonu, Composer veya Workflows ile tetikleme ve Cloud Build ile CI/CD uygulamalı olarak işlenir.
2 Gün. Her gün dört modül; her modülde altı konu başlığı, Dataform ile BigQuery iş yüklerini orkestre etme (OBWD) odaklı uygulamalı laboratuvar ve ekip tartışması.
Orta Seviye — Dataform Temelleri ve BigQuery, Kalite, Zamanlama ve CI/CD başlıklarını kapsayan Dataform ile BigQuery iş yüklerini orkestre etme (OBWD) eğitimi
Örnek veri setleri üzerinde BigQuery konsolu, bq CLI ve Cloud Shell ile adım adım laboratuvarlar yapılır ve sonuçlar birlikte yorumlanır.
BigQuery, Dataflow ve Pub/Sub gibi servisler gerçek veri setleri üzerinde sorgulanır ve ölçülür.
Taranan bayt, slot ve depolama sınıfı seçimleri maliyet etkisiyle birlikte değerlendirilir.
IAM, policy tag ve satır düzeyi erişim gibi kontroller veri hattına dahil edilir.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, JOIN, GROUP BY ve alt sorgu düzeyinde SQL kullanabilme.
Tablo, şema, ETL ve veri ambarı terimlerine temel aşinalık.
Proje, bölge ve IAM gibi temel bulut kavramlarını bilme.
BigQuery kullanılabilen bir proje veya sağlanan laboratuvar ortamı.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Dataform Temelleri konusunda Dataform repository, workspace ve Git bağlantısı, SQLX dosyası yapısı: config bloğu ve ref() fonksiyonu ve dataform.json / workflow_settings.yaml yapılandırması başlıklarını uygulamalı olarak öğrenirsiniz.
BigQuery Mimarisi ve Veri Setleri konusunda Dremel, Colossus ve Jupiter tabanlı ayrık depolama/hesaplama mimarisi, Dataset, tablo, view ve materialized view kavramları ve Tablo partitioning (zaman, tamsayı aralığı) ve clustering başlıklarını uygulamalı olarak öğrenirsiniz.
BigQuery SQL ve Analitik Fonksiyonlar konusunda Standart SQL: ARRAY, STRUCT, UNNEST ve iç içe alanlar, Window function: ROW_NUMBER, LAG, SUM OVER ve QUALIFY ve Geçici tablo, scripting, değişken ve prosedürler başlıklarını uygulamalı olarak öğrenirsiniz.
BigQuery Sorgu Performansı ve Maliyeti konusunda Query plan ve execution graph okuma, Partition pruning ve clustering ile taranan bayt azaltma ve INFORMATION_SCHEMA.JOBS ile pahalı sorguları bulma başlıklarını uygulamalı olarak öğrenirsiniz.
Dataform ile Veri Kalitesi ve Zamanlama konusunda Assertions: uniqueKey, nonNull, rowConditions, Incremental tablolar ve uniqueKey ile birleştirme ve Zamanlanmış çalıştırma ve hizmet hesabı başlıklarını uygulamalı olarak öğrenirsiniz.
Cloud Composer ve İş Akışı Orkestrasyonu konusunda Airflow DAG yapısı, operator ve sensor kavramları, Composer 2 ortam boyutlandırma ve Autopilot GKE altyapısı ve XCom, Variable ve Connection yönetimi başlıklarını uygulamalı olarak öğrenirsiniz.
Cloud Build ve CI/CD Hatları konusunda cloudbuild.yaml adımları, substitution değişkenleri ve builder imajları, GitHub / Cloud Source Repositories tetikleyicileri ve Cloud Deploy ile delivery pipeline ve promotion başlıklarını uygulamalı olarak öğrenirsiniz.
BigQuery Güvenlik ve Yönetişim konusunda Dataset ve tablo düzeyinde IAM, Column-level security ve policy tag ve CMEK şifreleme ve VPC Service Controls başlıklarını uygulamalı olarak öğrenirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Google Cloud Fundamentals: Core Infrastructure eğitimi: kaynak hiyerarşisi ve proje yönetimi uygulamalı. 2 gün, DVA Katılım ve Başarı Sertifikası verilir.
Detayları Gör →
GCP Fundamentals eğitimi: bulut modelleri ve sorumluluk paylaşımı ve bölgeler, zone'lar ve küresel altyapı uygulamalı. 3 gün, DVA Katılım ve Başarı Sertifikası.
Detayları Gör →
GCP Temel Bilgiler ve Yönetim eğitimi: kaynak hiyerarşisi ve proje yönetimi ve cloud iam: kimlik ve yetkilendirme uygulamalı. 3 gün, DVA Katılım ve Başarı Serti
Detayları Gör →
GCP Temelleri ve Çekirdek Hizmetleri eğitimi: bulut modelleri ve sorumluluk paylaşımı uygulamalı. 3 gün, DVA Katılım ve Başarı Sertifikası verilir.
Detayları Gör →
GCP: Preparing for the Associate Cloud Engineer Examination eğitimi, 4 gün uygulamalı Google Cloud programı. DVA Katılım ve Başarı Sertifikası verilir.
Detayları Gör →