Greenplum Mimari ve Veri Modelleme Eğitimi

Eğitim Hakkında

Greenplum MPP mimarisi, dağıtım/bölümleme ve analitik veri modelleme

Bu eğitim, PostgreSQL tabanlı MPP (Massively Parallel Processing) veri ambarı Greenplum'ın mimarisini ve üzerinde analitik veri modellemeyi ele alır. Master ve segment instance'ları, interconnect, mirror segment ve gpfdist ile paralel yükleme açıklanır. DISTRIBUTED BY ile dağıtım anahtarı seçimi, veri eğriltisini (skew) önleme, tablo bölümleme (range/list), heap ve append-optimized depolama, satır/sütun yönelimli tablolar ve sıkıştırma ele alınır. Yıldız şema ve boyutsal modelleme, çoğaltılmış (replicated) tablo kullanımı, motion (redistribute/broadcast) operatörleri ve EXPLAIN ile sorgu planı yorumu uygulanır. Amaç analitik yükte yüksek performanslı şema tasarımıdır.

Süre ve Format

3 Gün. Her gün dört modül; mimariden veri modelleme ve sorgu optimizasyonuna kadar Greenplum aşamalı işlenir.

Seviye

Orta Seviye — Greenplum MPP mimarisi, dağıtım ve bölümleme stratejileri ile analitik veri modelleme.

Öğrenme Metodu

Katılımcılar bir Greenplum cluster üzerinde dağıtım/bölümleme tasarlayıp EXPLAIN ile plan analizini uygulamalı yapar.

Neden Bu Eğitim?

🧮MPP Mimarisi

Master/segment paralelliğini kavrayıp ölçeklenebilir ambar tasarlarsınız.

🔑Doğru Dağıtım

Dağıtım anahtarı seçimiyle veri eğriltisini önleyip performansı artırırsınız.

📐Analitik Model

Boyutsal modelleme ve bölümlemeyle sorgu maliyetini düşürürsünüz.

Anahtar Konular

greenplum eğitimimpp veri ambarıdağıtım anahtarıdata skewtablo bölümlemeboyutsal modellemeappend-optimizedsorgu optimizasyonugpfdistgreenplum mimari

“MPP'de performans çoğu zaman doğru dağıtım anahtarıyla başlar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

Orta düzey SQL (JOIN, GROUP BY, alt sorgu) bilgisi gereklidir.

2

İlişkisel Temel

İlişkisel veritabanı ve şema kavramlarına aşinalık beklenir.

3

Veri Ambarı

OLTP/OLAP ve veri ambarı kavramlarına aşinalık faydalıdır.

4

Erişim Ortamı

Bir Greenplum cluster veya sanal lab erişimi önerilir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Greenplum'ın MPP mimarisini ve paralel veri yükleme yollarını açıklayabilir.

Modül 1

MPP Temelleri

Shared-nothing MPP mimarisi mantığı
Master instance ve meta veri rolü
Primary ve mirror segment instance'ları
Interconnect (UDP/TCP) ağ katmanı
Paralel sorgu yürütme (parallel dataflow)
PostgreSQL ile ilişki ve farklar

Modül 2

Depolama Modelleri

Heap tablolar ve MVCC davranışı
Append-optimized (AO) tablolar
Satır vs sütun yönelimli (column-oriented) depolama
Sıkıştırma: zlib, zstd, RLE seçimi
Blok boyutu ve checksum ayarları
Depolama modeline göre kullanım senaryoları

Modül 3

Paralel Yükleme

gpfdist ile paralel dış tablo (external table)
COPY ve tek düğüm yükleme sınırları
gpload yapılandırma dosyası
Writable external table ile dışa aktarım
Hata segmenti (error table) yönetimi
Yükleme performansı için segment paralelliği

Modül 4

Yönetim Temeli

gpstate ile cluster durumu
Segment arızası ve recovery (gprecoverseg)
Dağıtılmış transaction ve two-phase commit
Resource group/queue ile iş yükü yönetimi
VACUUM ve AO tablo bakımı
Katalog tabloları (gp_*) kullanımı

Günün hedefiKatılımcı, dağıtım ve bölümleme stratejilerini performans hedeflerine göre tasarlayabilir.

Modül 1

Dağıtım Anahtarı

DISTRIBUTED BY ile hash dağıtım
DISTRIBUTED RANDOMLY kullanımı
DISTRIBUTED REPLICATED tablolar
Dağıtım anahtarı seçim kriterleri
JOIN uyumu için ortak dağıtım anahtarı
gp_segment_id ile dağıtım inceleme

Modül 2

Veri Eğriltisi (Skew)

Data skew ve processing skew farkı
Skew tespiti için sorgular
Düşük kardinaliteli anahtar riski
NULL yoğunluğunun dağıtıma etkisi
Skew düzeltme için yeniden dağıtım
gp_toolkit ile skew analizi

Modül 3

Bölümleme (Partitioning)

Range partition (tarih bazlı) tanımı
List partition kullanımı
Alt bölüm (subpartition) şablonları
Partition elimination ve sorgu kazanımı
Varsayılan (default) partition yönetimi
Partition ekleme/çıkarma (exchange) işlemleri

Modül 4

Birleşik Strateji

Dağıtım + bölümlemeyi birlikte tasarlama
Büyük fact tablosu için strateji
Boyut tablosu replication kararı
Depolama yönelimi ve bölüm eşleşmesi
Yük ve sorgu desenine göre ayar
Yeniden tasarım ve ALTER maliyeti

Günün hedefiKatılımcı, analitik şema modelleyip sorgu planlarını okuyarak optimizasyon yapabilir.

Modül 1

Boyutsal Modelleme

Yıldız ve kar tanesi şema
Fact ve dimension tablo tasarımı
Surrogate key ve doğal anahtar
Yavaş değişen boyut (SCD) yaklaşımları
Grain (ayrıntı düzeyi) tanımı
Toplama (aggregate) tabloları

Modül 2

Motion Operatörleri

Redistribute motion mantığı
Broadcast motion ve küçük tablo
Gather motion ve master'a toplama
JOIN'de motion maliyeti
Çoğaltılmış tablo ile motion azaltma
Motion'u planda okuma

Modül 3

Sorgu Planı

EXPLAIN ve EXPLAIN ANALYZE kullanımı
Slice ve segment paralelliği okuma
Maliyet, satır tahmini ve gerçek karşılaştırma
Hash vs nested loop vs merge join
Spill (disk) ve work_mem etkisi
Plan darboğazı teşhisi

Modül 4

İstatistik ve İndeks

ANALYZE ile istatistik toplama
Planner için güncel istatistik önemi
Bitmap ve B-tree indeks kullanımı
AO tabloda indeks kısıtları
Materialized view ile hızlandırma
ORCA (GPORCA) optimizer özellikleri

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

MPP Mimarisi

Greenplum master/segment mimarisini açıklayabilirsiniz.

✅

Depolama

AO ve sütun yönelimli depolamayı doğru seçebilirsiniz.

✅

Dağıtım

Dağıtım anahtarıyla veri eğriltisini önleyebilirsiniz.

✅

Bölümleme

Range/list bölümlemeyle partition elimination sağlarsınız.

✅

Boyutsal Model

Analitik yıldız şema tasarlayabilirsiniz.

✅

Motion

Sorgu planındaki motion maliyetini azaltabilirsiniz.

✅

Plan Analizi

EXPLAIN ANALYZE ile darboğazları teşhis edebilirsiniz.

✅

Yükleme

gpfdist/gpload ile paralel veri yükleyebilirsiniz.

Kimler İçin Uygundur?

Veri ambarı mühendisleri
veritabanı yöneticileri
ETL geliştiricileri
MPP analitik platform tasarlayan veri mimarları için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri ambarı mühendisleri, DBA'lar ve analitik platform tasarlayan veri mimarları için uygundur.

PostgreSQL bilgisi gerekir mi?

Orta düzey SQL yeterlidir; Greenplum'ın PostgreSQL farkları ayrıca anlatılır.

Dağıtım anahtarı neden önemli?

Yanlış anahtar veri eğriltisi ve ağ motion maliyeti yaratır; doğru seçim performansı belirler.

Sorgu optimizasyonu kapsanıyor mu?

Evet; EXPLAIN ANALYZE, motion operatörleri ve istatistik yönetimi uygulanır.

Sertifika veriliyor mu?

Evet; Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GREENPLUM ARCHITECTURE AND DATA MODELING EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

MPP Temelleri

Depolama Modelleri

Paralel Yükleme

Yönetim Temeli

Dağıtım Anahtarı

Veri Eğriltisi (Skew)

Bölümleme (Partitioning)

Birleşik Strateji

Boyutsal Modelleme

Motion Operatörleri

Sorgu Planı

İstatistik ve İndeks

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Low-code ML with KNIME: Getting Started with the KNIME Analytics Platform Eğitimi

Low-code ML with KNIME: Performing Time Series & Market Basket Analysis Eğitimi

Managing & calculating data in Sheets Eğitimi

Managing a Data Mesh with Knowledge Catalog (GC-DM-DPX) Eğitimi

Managing a Data Mesh with Knowledge Catalog (MDMD) Eğitimi