Data Factory with Oozie Eğitimi

Eğitim Hakkında

Apache Oozie ile üretim seviyesi iş akışı orkestrasyonu programı

Bu eğitim, Apache Oozie ile Hadoop üzerinde iş akışı orkestrasyonu kurma becerisi kazandırır. workflow.xml ile DAG tanımı, action türleri (Hive, Pig, Spark, Shell, Java, Sqoop), control node'lar (start, end, kill, decision, fork, join) ele alınır. Coordinator ile zaman ve veri tetikli zamanlama, dataset ve input-event tanımı, bundle ile çoklu koordinatör yönetimi, EL (Expression Language) ifadeleri, parametre ve job.properties işlenir. Katılımcı; hata yönetimi, SLA, yeniden çalıştırma ve izleme dahil üretime hazır iş hatları kurar.

Süre ve Format

3 Gün. Her gün dört modül; workflow, action, coordinator ve bundle üzerine uygulama.

Seviye

Orta Seviye — Apache Oozie ile Hadoop iş akışı, koordinatör ve bundle tabanlı iş hattı orkestrasyonu

Öğrenme Metodu

Örnek Hadoop kümesi üzerinde Oozie XML tanımları yazılıp çalıştırılarak uygulama yapılır.

Neden Bu Eğitim?

🔗Bağımlılık Yönetimi

Çok adımlı iş hatlarını fork/join ve decision ile güvenle sıralarsınız.

⏰Zaman/Veri Tetikli

Coordinator ile hem zamana hem veri varlığına göre işleri otomatik tetiklersiniz.

📦Ölçeklenir Yönetim

Bundle ile onlarca koordinatörü tek yerden yönetip dağıtırsınız.

Anahtar Konular

apache oozieooziehadoopiş akışı orkestrasyonucoordinatorbundleworkflow xmletl zamanlamasqoopspark action

“İyi orkestrasyon, karmaşık iş hatlarını öngörülebilir kılar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Hadoop temeli

HDFS, YARN ve Hive hakkında temel bilgi gerekir.

2

XML aşinalığı

XML yapısını okuyup yazabilmek faydalıdır.

3

Komut satırı

Temel Linux kabuk kullanımı önerilir.

4

Oozie erişimi

Oozie kurulu bir Hadoop kümesine erişim gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Oozie mimarisini kavrar ve temel iş akışı tanımlar.

Modül 1

Oozie Mimarisi

Oozie server ve veritabanı rolü
Workflow, coordinator ve bundle katmanları
DAG tabanlı yürütme modeli
YARN ile launcher job ilişkisi
job.properties ve oozie.wf.application.path
HDFS'te uygulama dizini yerleşimi

Modül 2

Workflow Yapısı

workflow.xml kök yapısı
start, end ve kill control node
Action node tanımı
name ve xmlns şema sürümü
to/ok/error geçişleri
Minimum çalışan iş akışı

Modül 3

Control Node

decision node ve switch/case
fork ve join ile paralellik
kill node ve hata mesajı
EL ifadeleriyle karar koşulu
Paralel kolların senkronizasyonu
Döngü olmayan DAG kısıtı

Modül 4

Temel Action

shell action ile komut çalıştırma
fs action ile HDFS işlemleri
email action ile bildirim
java action parametreleri
capture-output ile çıktı yakalama
argümanlar ve env değişkenleri

Günün hedefiKatılımcı veri action'larını kullanır ve coordinator kurar.

Modül 1

Veri Action'ları

hive2 action ve JDBC bağlantısı
pig action script çağrısı
spark action ve master/mode
sqoop action ile içe/dışa aktarım
map-reduce action parametreleri
Kaynak (lib) ve jar yönetimi

Modül 2

Parametre ve EL

Expression Language temelleri
${wf:id()} ve ${wf:name()}
coord:current ve coord:dateOffset
Değişken geçişi (property)
config-default.xml kullanımı
Varsayılan ve zorunlu parametreler

Modül 3

Coordinator Temeli

coordinator.xml yapısı
frequency ve start/end zamanı
timezone ayarı
controls: timeout, concurrency, throttle
action ve workflow bağlantısı
Coordinator'ı submit etme

Modül 4

Dataset ve Tetikleme

dataset tanımı ve uri-template
input-events ve data-in
output-events ve data-out
done-flag ile veri hazır kontrolü
Veri tetikli (data-triggered) çalışma
Materyalizasyon zamanlaması

Günün hedefiKatılımcı bundle ile ölçekler ve iş hatlarını operasyonel yönetir.

Modül 1

Bundle

bundle.xml yapısı
Çoklu coordinator koordinasyonu
kick-off-time tanımı
Parametre yayılımı
Bundle submit ve run
Topluca durdurma/başlatma

Modül 2

Hata ve Yeniden Deneme

error transition tasarımı
retry-max ve retry-interval
kill mesajı ve hata yakalama
SLA tanımı ve ihlal uyarısı
Idempotent adım tasarımı
Kısmi başarısızlık kurtarma

Modül 3

İzleme ve Operasyon

oozie job -info ile durum
Oozie web konsolu
Log ve YARN log erişimi
rerun ile yeniden çalıştırma
suspend/resume/kill komutları
Coordinator materyalizasyon takibi

Modül 4

En İyi Uygulamalar

Uygulama dizini ve sürümleme
Parametreleştirme ve ortam ayrımı
Küçük, test edilebilir workflow'lar
Kaynak ve kuyruk (queue) yönetimi
Zaman dilimi ve DST tuzakları
Alternatiflere (Airflow) geçiş notları

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Oozie Mimarisi

Oozie'nin workflow, coordinator ve bundle katmanlarını açıklayabilirsiniz.

✅

Workflow Tasarımı

workflow.xml ile DAG ve control node tanımlayabilirsiniz.

✅

Action Kullanımı

Hive, Spark, Shell ve Sqoop action'larını yapılandırabilirsiniz.

✅

EL İfadeleri

Expression Language ile dinamik parametre kurgulayabilirsiniz.

✅

Coordinator

Zaman ve veri tetikli coordinator'lar oluşturabilirsiniz.

✅

Bundle

Bundle ile çoklu koordinatörü tek yerden yönetebilirsiniz.

✅

Hata Yönetimi

Retry, kill ve SLA ile dayanıklı iş hatları kurabilirsiniz.

✅

Operasyon

İş akışlarını izleyip rerun ve suspend ile yönetebilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
Hadoop yöneticileri
ETL iş hatlarını zamanlayan geliştiriciler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, Hadoop yöneticileri ve ETL iş hatlarını zamanlayan geliştiriciler için uygundur.

Önceden Hadoop bilmem gerekir mi?

HDFS ve Hive hakkında temel bilgi gereklidir.

Oozie hâlâ kullanılıyor mu?

Mevcut Hadoop kümelerinde yaygındır; Airflow'a geçiş notları da paylaşılır.

XML yazmak zorunlu mu?

Evet, Oozie iş akışları XML ile tanımlanır ve eğitimde uygulanır.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA FACTORY WITH OOZIE EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Oozie Mimarisi

Workflow Yapısı

Control Node

Temel Action

Veri Action'ları

Parametre ve EL

Coordinator Temeli

Dataset ve Tetikleme

Bundle

Hata ve Yeniden Deneme

İzleme ve Operasyon

En İyi Uygulamalar

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Certified Information Systems Auditor: Audit Evidence, Data Analytics, & Reporting Eğitimi

CISA : Auditing, Data Analysis, & Controls Eğitimi

Classes, Data Types & Regular Expressions Eğitimi

Classifying and Collecting Data Eğitimi

Cleaning Data in R Eğitimi