Google Cloud’da uçtan uca veri hattı geliştirin
Bu eğitim, veri mühendisliği rolüne giriş yapanlar için Google Cloud üzerindeki hat bileşenlerini birlikte ele alır. Eğitim 3 gün sürer; her günde dört modül uygulamalı laboratuvarlarla işlenir.
Akış ve toplu işleme, Dataform ve BigQuery ML ile veri mühendisliği
Bu eğitim, veri mühendisliği rolüne giriş yapanlar için Google Cloud üzerindeki hat bileşenlerini birlikte ele alır. Pub/Sub ile alım, Dataflow ve Dataproc ile işleme, Dataform ile SQL dönüşümü, Cloud Composer ile iş akışı yönetimi, BigQuery ML ile model hazırlığı ve sorgu performansı laboratuvarlarla işlenir.
3 Gün. Her gün dört modül; her modülde altı konu başlığı, Google Cloud’da veri mühendisliğine giriş odaklı uygulamalı laboratuvar ve ekip tartışması.
Temel Seviye — Mimari ve Alım Katmanı, İşleme ve Dönüşüm, Orkestrasyon, Model ve Gözlemleme başlıklarını kapsayan Google Cloud’da veri mühendisliğine giriş eğitimi
Örnek veri setleri üzerinde BigQuery konsolu, bq CLI ve Cloud Shell ile adım adım laboratuvarlar yapılır ve sonuçlar birlikte yorumlanır.
BigQuery, Dataflow ve Pub/Sub gibi servisler gerçek veri setleri üzerinde sorgulanır ve ölçülür.
Taranan bayt, slot ve depolama sınıfı seçimleri maliyet etkisiyle birlikte değerlendirilir.
IAM, policy tag ve satır düzeyi erişim gibi kontroller veri hattına dahil edilir.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, JOIN, GROUP BY ve alt sorgu düzeyinde SQL kullanabilme.
Tablo, şema, ETL ve veri ambarı terimlerine temel aşinalık.
Proje, bölge ve IAM gibi temel bulut kavramlarını bilme.
BigQuery kullanılabilen bir proje veya sağlanan laboratuvar ortamı.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Veri Mühendisliği Mimari Bileşenleri konusunda Batch ve streaming veri işleme mimarileri (Lambda, Kappa), Veri hatları: Pub/Sub → Dataflow → BigQuery ve Veri gölü: Cloud Storage bölgeleme ve dosya formatları (Parquet, Avro) başlıklarını uygulamalı olarak öğrenirsiniz.
Pub/Sub ile Olay Akışı konusunda Topic, subscription ve push/pull teslim modelleri, Ack deadline, dead-letter topic ve yeniden deneme politikası ve Şema (Avro/Protobuf) doğrulaması başlıklarını uygulamalı olarak öğrenirsiniz.
BigQuery SQL ve Analitik Fonksiyonlar konusunda Standart SQL: ARRAY, STRUCT, UNNEST ve iç içe alanlar, Window function: ROW_NUMBER, LAG, SUM OVER ve QUALIFY ve Geçici tablo, scripting, değişken ve prosedürler başlıklarını uygulamalı olarak öğrenirsiniz.
Dataproc ve Spark/Hadoop Taşıma konusunda Dataproc cluster, ephemeral cluster ve Serverless for Apache Spark, HDFS yerine Cloud Storage (gs://) kullanımı ve Autoscaling politikası ve preemptible worker başlıklarını uygulamalı olarak öğrenirsiniz.
Dataform Temelleri konusunda Dataform repository, workspace ve Git bağlantısı, SQLX dosyası yapısı: config bloğu ve ref() fonksiyonu ve dataform.json / workflow_settings.yaml yapılandırması başlıklarını uygulamalı olarak öğrenirsiniz.
Cloud Composer ve İş Akışı Orkestrasyonu konusunda Airflow DAG yapısı, operator ve sensor kavramları, Composer 2 ortam boyutlandırma ve Autopilot GKE altyapısı ve XCom, Variable ve Connection yönetimi başlıklarını uygulamalı olarak öğrenirsiniz.
BigQuery ML konusunda CREATE MODEL ile lineer regresyon ve lojistik regresyon, Boosted tree, DNN ve k-means model tipleri ve Özellik mühendisliği: TRANSFORM ve ML.FEATURE_CROSS başlıklarını uygulamalı olarak öğrenirsiniz.
Cloud Logging ve Log Analizi konusunda Log Router: sink, exclusion filter ve hedef (BigQuery, GCS, Pub/Sub), Logging query language ile gelişmiş filtreleme ve Log Analytics ve BigQuery bağlantılı veri seti başlıklarını uygulamalı olarak öğrenirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Cloud Digital Leader: Storage Options for Unstructured Data eğitimi: cloud storage ile nesne depolama uygulamalı. 2 gün, DVA Katılım ve Başarı Sertifikası veril
Detayları Gör →
Cloud Digital Leader: Total Cost of Ownership and Cloud Infrastructure eğitimi, 2 gün uygulamalı Google Cloud programı. DVA Katılım ve Başarı Sertifikası verili
Detayları Gör →
Cloud Digital Leader: Unstructured Data and Transaction Processing eğitimi: cloud storage ile nesne depolama uygulamalı. 2 gün, DVA Katılım ve Başarı Sertifikas
Detayları Gör →
Cloud Digital Leader: Working with Data eğitimi: veritabanı hizmetlerinin karşılaştırması uygulamalı. 2 gün, DVA Katılım ve Başarı Sertifikası verilir.
Detayları Gör →
Google Cloud Dijital Lider (CDL) – Sınav Hazırlığı eğitimi: dijital dönüşüm ve google cloud ile yenilik uygulamalı. 3 gün, DVA Katılım ve Başarı Sertifikası ver
Detayları Gör →