Docker ve Kubernetes ile Yapay Zeka Dağıtımı Eğitimi

Eğitim Hakkında

Bu eğitim, makine öğrenmesi ve büyük dil modeli servislerini konteynerleştirip Kubernetes üzerinde güvenli, ölçeklenebilir ve maliyet etkin biçimde işletecek platform ve MLOps ekipleri için tasarlanmış üç günlük ileri düzey bir programdır. Katılımcılar GPU destekli imajlar, Helm, NVIDIA GPU Operator, KServe, vLLM, otomatik ölçekleme, izleme ve GitOps süreçlerini laboratuvar kümesinde uygular.

Neden Bu Eğitim?

Tutarlı Paketleme. CUDA sürümü, bağımlılıklar ve model dosyalarıyla her ortamda aynı çalışan, küçük ve güvenli imajlar üretin.

GPU Verimliliği. Pahalı GPU kaynaklarını paylaşım, doğru zamanlama ve otomatik ölçeklemeyle daha verimli kullanmayı öğrenin.

LLM Servisleme. vLLM, Triton ve KServe ile yüksek verimli, izlenebilir ve kesintisiz güncellenebilen model servisleri kurun.

“Başarılı bir model laboratuvarda doğar; ona gerçek değerini kazandıran, ölçeklenebilir ve güvenilir biçimde işletilen altyapıdır.”

Ön Koşullar

Linux Yetkinliği — Linux komut satırı, dosya izinleri, süreçler ve temel ağ kavramlarıyla rahat çalışabilmek.
Temel Docker — İmaj çalıştırma, Dockerfile okuma ve konteyner günlüklerini inceleme deneyimi.
Python ve API — Bir Python web servisini okuyup çalıştırabilmek; model geliştirme bilgisi gerekmez.
Çalışma Ortamı — Docker ve kubectl kurulu bilgisayar; GPU laboratuvarları için bulut kümesi erişimi sağlanır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiYapay zeka servisleri için optimize ve güvenli konteyner imajları oluşturmak, GPU erişimini yapılandırmak ve çok servisli uygulamaları Docker Compose ile çalıştırmak.

Modül 1

Konteyner Temelleri ve Yapay Zeka İş Yükleri

Konteyner, sanal makine ve süreç izolasyonu farkları
İmaj katmanları, önbellek ve yapı bağlamı
Yapay zeka imajlarının zorlukları: boyut, CUDA, model dosyası
Eğitim, toplu çıkarım ve çevrim içi servis iş yükleri
Konteyner kayıt defterleri ve imaj etiketleme stratejisi
Laboratuvar: FastAPI model servisinin ilk imajı

Modül 2

Optimize Dockerfile Yazımı

Çok aşamalı (multi-stage) yapı ile imaj küçültme
slim ve distroless temel imajlarla saldırı yüzeyini azaltma
uv ile hızlı ve kilitli bağımlılık kurulumu
Model ağırlıklarını imaja gömme ya da birimden yükleme
BuildKit önbellek bağlamaları ve yapı süresi
Laboratuvar: İmaj boyutunu ölçerek optimize etme

Modül 3

GPU Destekli Konteynerler

NVIDIA sürücüsü, CUDA ve cuDNN sürüm uyumluluğu
NVIDIA Container Toolkit kurulumu ve yapılandırması
CUDA temel imajları ve PyTorch imajı seçimi
Konteyner içinde GPU görünürlüğü ve nvidia-smi
vLLM ile yerel LLM servisini konteynerde çalıştırma
Laboratuvar: GPU konteynerinde açık ağırlıklı model

Modül 4

Docker Compose ve İmaj Güvenliği

Docker Compose ile API, vektör veritabanı ve Redis
Ortam değişkenleri, sırlar ve sağlık kontrolleri
Root olmayan kullanıcı ve salt okunur dosya sistemi
Trivy ile güvenlik açığı taraması ve SBOM üretimi
Laboratuvar: Çok servisli RAG uygulamasını ayağa kaldırma
Günün değerlendirmesi ve Kubernetes gününe köprü

Günün hedefiKubernetes nesneleriyle yapay zeka servislerini dağıtmak, Helm ile paketlemek, GPU kaynaklarını zamanlamak ve paylaştırmak ve eğitim ile toplu çıkarım işlerini çalıştırmak.

Modül 1

Kubernetes Mimarisi ve Temel Nesneler

Kontrol düzlemi, düğümler ve kubelet mimarisi
Pod, Deployment, ReplicaSet ve Service nesneleri
ConfigMap ve Secret ile yapılandırma yönetimi
Ingress ve Gateway API ile trafik yönlendirme
Canlılık, hazırlık ve başlangıç yoklamaları
Laboratuvar: Model servisinin kümeye dağıtılması

Modül 2

Kaynak Yönetimi ve Helm

CPU ve bellek istekleri, sınırlar ve QoS sınıfları
Düğüm seçiciler, taint, toleration ve yakınlık kuralları
Namespace, ResourceQuota ve LimitRange
Helm grafikleri ile uygulama paketleme
values dosyalarıyla ortam bazlı yapılandırma
Laboratuvar: RAG uygulaması için Helm grafiği yazma

Modül 3

Kubernetes Üzerinde GPU Yönetimi

NVIDIA GPU Operator ve cihaz eklentisi
GPU isteyen pod tanımı ve zamanlama
Çoklu örnekli GPU (MIG) ve zaman paylaşımı
GPU düğüm havuzları ve maliyet odaklı tasarım
Model ağırlıkları için kalıcı birim ve önbellek
Laboratuvar: GPU düğümünde LLM servisinin zamanlanması

Modül 4

Eğitim ve Toplu Çıkarım İşleri

Job ve CronJob ile toplu çıkarım görevleri
Dağıtık eğitim işlerine genel bakış: Kubeflow Trainer
KubeRay ile Ray kümeleri ve dağıtık iş yükleri
Kueue ile iş kuyruğu ve adil kaynak paylaşımı
Laboratuvar: Gece çalışan toplu skorlama işi
Günün değerlendirmesi ve servisleme gününe köprü

Günün hedefiKServe, vLLM ve Triton ile model servisleri kurmak, talebe göre ölçeklemek, GPU metriklerini izlemek, GitOps ve güvenlik kontrollerini uygulamak ve projeyi sunmak.

Modül 1

Model Servisleme Platformları

KServe InferenceService ve çalışma zamanları
vLLM ile OpenAI uyumlu yüksek verimli LLM servisi
NVIDIA Triton Inference Server ve dinamik toplama
Kanarya yayın ve trafik bölme ile model güncelleme
LLM servislemede gecikme, verim ve bellek dengesi
Laboratuvar: KServe ile vLLM tabanlı model dağıtımı

Modül 2

Otomatik Ölçekleme ve Maliyet

Horizontal Pod Autoscaler ve özel metriklerle ölçekleme
KEDA ile kuyruk ve olay tabanlı ölçekleme
Sıfıra ölçekleme ve soğuk başlangıç süresi
Cluster Autoscaler ve Karpenter ile düğüm ölçekleme
GPU kullanım oranı ve birim çıkarım maliyeti
Laboratuvar: Yük testiyle ölçekleme davranışı analizi

Modül 3

Gözlemlenebilirlik, GitOps ve Güvenlik

Prometheus, Grafana ve DCGM Exporter ile GPU metrikleri
OpenTelemetry ile servis izleri ve günlükler
Argo CD ile GitOps tabanlı sürekli dağıtım
RBAC, NetworkPolicy ve Pod Security Standards
Yönetilen kümeler: EKS, AKS ve GKE farkları
Tatbikat: Bozulan GPU servisinde arıza giderme

Modül 4

Uçtan Uca Dağıtım Projesi ve Kapanış

Proje: Helm, KServe, ölçekleme ve izlemeli LLM servisi
Proje sunumları ve mimari inceleme geri bildirimi
Üretim hazırlık kontrol listesi ve operasyon planı
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar dosyalarının teslimi
İleri öğrenme kaynakları ve kapanış oturumu

Eğitim Kazanımları

Optimize İmajlar — Çok aşamalı yapı ve doğru temel imajlarla küçük, hızlı derlenen ve güvenli yapay zeka imajları oluşturabileceksiniz.
GPU Konteynerleri — NVIDIA Container Toolkit ve CUDA sürüm uyumuyla GPU kullanan konteynerleri sorunsuz çalıştırabileceksiniz.
Kubernetes Dağıtımı — Deployment, Service, Ingress ve yoklamalarla yapay zeka servislerini Kubernetes kümesine dağıtabileceksiniz.
Helm Paketleme — Çok bileşenli yapay zeka uygulamalarını ortam bazlı yapılandırılabilen Helm grafikleriyle paketleyebileceksiniz.
GPU Yönetimi — GPU Operator, MIG ve zaman paylaşımıyla GPU kaynaklarını zamanlayıp maliyet etkin biçimde paylaştırabileceksiniz.
Model Servisleme — KServe, vLLM ve Triton ile LLM ve klasik modelleri kanarya yayın desteğiyle servis edebileceksiniz.
Otomatik Ölçekleme — HPA, KEDA ve düğüm ölçekleyicileriyle servisleri talebe göre ölçekleyip birim maliyeti izleyebileceksiniz.
Güvenli Operasyon — Prometheus, Argo CD, RBAC ve ağ politikalarıyla izlenen, GitOps ile yönetilen güvenli bir platform işleteceksiniz.

Kimler İçin Uygundur?

MLOps ve platform mühendisleri
DevOps ve site güvenilirliği (SRE) mühendisleri
bulut altyapı mimarları ile modelleri üretime alan makine öğrenmesi mühendisleri.

Sıkça Sorulan Sorular

Docker ve Kubernetes ile Yapay Zeka Dağıtımı Eğitimi kimler için uygundur?

Program; MLOps ve platform mühendisleri, DevOps ve SRE mühendisleri, bulut altyapı mimarları ile geliştirdikleri modelleri üretim ortamına alan makine öğrenmesi mühendisleri için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl yapılandırılmıştır?

Eğitim 3 tam gün ve 12 modülden oluşur. İlk gün Docker ile paketleme ve GPU konteynerleri, ikinci gün Kubernetes ve GPU iş yükleri, üçüncü gün model servisleme, ölçekleme, izleme, GitOps ve dağıtım projesi işlenir.

Katılım için hangi deneyim gerekli?

Linux komut satırı, temel ağ kavramları ve temel Docker kullanımı bilinmelidir. Model geliştirme bilgisi gerekmez; ancak bir Python web servisini okuyup çalıştırabilmek beklenir.

GPU'lu laboratuvarlar için kendi donanımımız gerekli mi?

Hayır. GPU gerektiren laboratuvarlar için eğitim süresince bulut üzerinde hazır Kubernetes kümesi erişimi sağlanır. Katılımcıların Docker ve kubectl kurulu bir bilgisayarla katılması yeterlidir.

Hangi araçlar kullanılıyor, sertifika veriliyor mu?

Docker, NVIDIA Container Toolkit, Trivy, Kubernetes, Helm, NVIDIA GPU Operator, KServe, vLLM, Triton, KEDA, Prometheus, Grafana ve Argo CD kullanılır. Programı tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DOCKER VE KUBERNETES İLE YAPAY ZEKA DAĞITIMI EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Konteyner Temelleri ve Yapay Zeka İş Yükleri

Optimize Dockerfile Yazımı

GPU Destekli Konteynerler

Docker Compose ve İmaj Güvenliği

Kubernetes Mimarisi ve Temel Nesneler

Kaynak Yönetimi ve Helm

Kubernetes Üzerinde GPU Yönetimi

Eğitim ve Toplu Çıkarım İşleri

Model Servisleme Platformları

Otomatik Ölçekleme ve Maliyet

Gözlemlenebilirlik, GitOps ve Güvenlik

Uçtan Uca Dağıtım Projesi ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi