Ray Tune ile Hiperparametre (Databricks)

Eğitim Hakkında

Ray Tune ile dağıtık hiperparametre optimizasyonu

Bu eğitim, Ray Tune ile hiperparametre optimizasyonunu Databricks üzerinde öğretir. Ray cluster'ın Databricks'te Ray on Spark ile başlatılması, Tune arama uzayı (tune.uniform, tune.choice, tune.loguniform, tune.grid_search), trainable fonksiyon ve tune.report ile metrik raporlama işlenir. Scheduler'lar (ASHA/ASHAScheduler erken durdurma, PopulationBasedTraining), search algoritmaları (BasicVariantGenerator, OptunaSearch, HyperOptSearch), kaynak atama (resources_per_trial) ve checkpoint ele alınır. MLflow entegrasyonu, sonuç analizi (ExperimentAnalysis) ve en iyi konfigürasyonun seçimi uygulamalı gösterilir.

Süre ve Format

2 Gün. Her gün dört modül; Databricks'te Ray Tune trainable ve scheduler lableri.

Seviye

İleri Seviye — Ray Tune ile hiperparametre optimizasyonunu; ASHA, PBT scheduler'ları ve Ray on Spark ile Databricks üzerinde kapsar.

Öğrenme Metodu

Ray on Spark cluster'da bir modelin hiperparametrelerini Ray Tune ile ASHA/PBT kullanarak optimize ederek uygulanır.

Neden Bu Eğitim?

🌟Gelişmiş Scheduler

ASHA ile zayıf denemeleri erken durdurup bütçeyi verimli kullanırsınız.

⚡Dağıtık Ray

Ray on Spark ile denemeleri cluster genelinde paralel çalıştırırsınız.

🔀Esnek Arama

Optuna/HyperOpt search algoritmalarını Tune içinde değiştirebilirsiniz.

Anahtar Konular

ray tunehiperparametre optimizasyonudatabricks rayray on sparkasha schedulerpbtoptunasearchdağıtık tuning

“Doğru scheduler, her denemeyi değere çevirir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python/ML

Model eğitimi ve çapraz doğrulama deneyimi gerekir.

2

Databricks

Cluster ve notebook kullanımına aşinalık beklenir.

3

Ray Fikri

Dağıtık hesaplama kavramlarına temel aşinalık faydalıdır.

4

MLflow

Temel deney izleme bilgisi faydalıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Ray on Spark başlatıp trainable ve arama uzayı ile Tune çalıştırabilir.

Modül 1

Ray on Spark

setup_ray_cluster ile başlatma
Driver/worker node ayrımı
Kaynak (CPU/GPU) tahsisi
Ray dashboard
Cluster kapatma
Databricks runtime uyumu

Modül 2

Arama Uzayı

tune.uniform / tune.loguniform
tune.choice / tune.randint
tune.grid_search
Koşullu/örneklenen uzay
Uzay ölçek seçimi
num_samples ayarı

Modül 3

Trainable

Fonksiyon tabanlı trainable
config sözlüğü kullanımı
tune.report ile metrik
Iterasyonlu raporlama
session.report (yeni API)
Hata yönetimi

Modül 4

Tune.run/Tuner

Tuner API ile çalıştırma
metric ve mode (min/max)
resources_per_trial
Zaman/deneme bütçesi
Sonuç tablosu
best_result seçimi

Günün hedefiKatılımcı ASHA/PBT scheduler ve arama algoritmalarıyla optimizasyonu ölçekler.

Modül 1

Scheduler

ASHAScheduler (erken durdurma)
grace_period ve reduction_factor
PopulationBasedTraining
HyperBand yaklaşımı
Scheduler seçim ölçütü
Kaynak tasarrufu etkisi

Modül 2

Search Algoritması

BasicVariantGenerator
OptunaSearch
HyperOptSearch
ConcurrencyLimiter
Search + scheduler birlikte
Tekrarlanabilirlik (seed)

Modül 3

Checkpoint

Checkpoint kaydetme/yükleme
PBT için checkpoint zorunluluğu
Kesinti sonrası devam
Artifact yönetimi
Depolama konumu
Temizlik

Modül 4

MLflow & Analiz

MLflowLoggerCallback
ExperimentAnalysis sonuçları
En iyi config çıkarma
Deneme karşılaştırma
Üretime final eğitim
Model kayıt

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Ray on Spark

Databricks'te Ray cluster başlatıp kaynak atarsınız.

✅

Arama Uzayı

tune.* ile esnek hiperparametre uzayları tanımlarsınız.

✅

Trainable

tune.report ile iterasyonlu metrik raporlayan trainable yazarsınız.

✅

ASHA

Erken durdurma ile deneme bütçesini verimli kullanırsınız.

✅

PBT

Population Based Training ile dinamik parametre evrimi uygularsınız.

✅

Search Algoritması

Optuna/HyperOpt search'leri Tune içinde kullanırsınız.

✅

Checkpoint

Kesinti sonrası devam için checkpoint yönetirsiniz.

✅

İzleme

MLflow ile denemeleri izler ve en iyi config'i seçersiniz.

Kimler İçin Uygundur?

Databricks'te ML/DL modeli ayarlayan veri bilimciler
Ray ile dağıtık deneme ölçeklemek isteyen ML mühendisleri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Databricks'te model ayarlayan veri bilimciler ve Ray ile dağıtık deneme ölçeklemek isteyen ML mühendisleri için uygundur.

Ray Tune ile Hyperopt farkı ne?

Ray Tune, ASHA/PBT gibi scheduler'lar ve farklı search backend'leriyle dağıtık deneme orkestrasyonuna odaklanır.

ASHA ne işe yarar?

Zayıf performanslı denemeleri erken durdurarak kaynağı umut vaat edenlere yönlendirir.

Ray on Spark nedir?

Databricks cluster'ı üzerinde bir Ray cluster başlatarak Tune denemelerini dağıtık çalıştırma yöntemidir.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

HYPERPARAMETER TUNING WITH RAY TUNE ON DATABRICKS EĞİTİMİ