Grafik İşlemci Programlama ve Yapay Zeka Eğitimi

Eğitim Hakkında

Bu eğitim, grafik işlemcilerin (GPU) paralel hesaplama gücünü derin öğrenme, görüntü ve video işleme iş yüklerinde verimli kullanmak isteyen mühendisler için tasarlanmış ileri düzey bir programdır. Katılımcılar CUDA programlama modelini, paralel algoritma desenlerini, performans profilini, Triton çekirdeklerini, çoklu GPU eğitimini ve TensorRT ile çıkarım optimizasyonunu uygular.

Neden Bu Eğitim?

Ölçülebilir Hızlanma. Darboğazları profil araçlarıyla bulun, doğru paralelleştirme ve bellek stratejisiyle iş yüklerini katlanarak hızlandırın.

Donanımı Anlayan Yazılım. GPU mimarisini, bellek hiyerarşisini ve çekirdek yürütme modelini kavrayarak donanımla uyumlu kod yazın.

Verimli GPU Kullanımı. Karma hassasiyet, çoklu GPU ve çıkarım optimizasyonuyla pahalı GPU kaynaklarından en yüksek verimi alın.

“Donanımı tanımadan yazılan kod GPU'nun gücünü harcar; paralel düşünen mühendis ise aynı donanımdan kat kat fazla değer üretir.”

Ön Koşullar

Python ve C/C++ — Python ile ileri düzey kod yazabilmek; C veya C++'ta işaretçi ve dizi kavramlarını bilmek.
Derin Öğrenme Deneyimi — PyTorch ile model tanımlayıp GPU üzerinde eğitim ve çıkarım yapmış olmak.
Linux Komut Satırı — Linux terminalinde derleme, ortam değişkeni, süreç izleme ve paket yönetimi bilgisi.
NVIDIA GPU Erişimi — CUDA destekli NVIDIA GPU'lu Linux ortamı veya eğitim süresince sağlanan bulut GPU.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiCPU ile GPU mimarisi arasındaki farkları kavramak, CUDA yürütme ve bellek modelini öğrenmek ve Numba ile CUDA C++ kullanarak ilk paralel çekirdekleri yazıp hızlanmayı ölçmek.

Modül 1

Paralel Hesaplama ve GPU Mimarisi

CPU ve GPU tasarım felsefesi: gecikme ve verim odağı
SIMD, veri paralelliği ve Amdahl yasası
Akış çoklu işlemcileri, CUDA çekirdekleri ve bellek bant genişliği
GPU bellek hiyerarşisi: global, paylaşımlı, yerel bellek
Veri merkezi GPU'ları, NVLink ve PCIe darboğazı
Tartışma: Hangi iş yükü GPU'dan fayda sağlar?

Modül 2

CUDA Yürütme Modeli

Ana makine (host) ve cihaz (device) ayrımı
Çekirdek (kernel), iş parçacığı, blok ve ızgara yapısı
İş parçacığı indeksleme ve sınır kontrolü
nvidia-smi, sürücü, CUDA Toolkit uyumluluğu
Asenkron çekirdek çağrısı ve senkronizasyon noktaları
Laboratuvar: Numba CUDA ile ilk vektör toplama çekirdeği

Modül 3

Bellek Yönetimi ve Veri Aktarımı

Cihaz belleği ayırma ve ana makine-cihaz kopyalama
Sabitlenmiş (pinned) bellek ile hızlı aktarım
Birleşik bellek (unified memory) ve sayfa hataları
Aktarım maliyetinin toplam hızlanmaya etkisi
CuPy ile NumPy uyumlu GPU dizileriyle çalışma
Laboratuvar: Veri aktarımını azaltarak hızlanma artırma

Modül 4

CUDA C++ ile Çekirdek Geliştirme

__global__, __device__ ve __host__ fonksiyon nitelikleri
nvcc ile derleme ve CMake yapılandırması
İki boyutlu ızgarada matris çarpımı çekirdeği
CPU ve GPU sürümleri için doğruluk ve süre ölçümü
Laboratuvar: CUDA C++ ile görüntü gri tonlama çekirdeği
Günün değerlendirmesi ve paralel desenler gününe köprü

Günün hedefiTemel paralel algoritma desenlerini GPU üzerinde uygulamak, paylaşımlı bellek ve akışlarla verimi artırmak ve Nsight araçlarıyla darboğazları tespit edip gidermek.

Modül 1

Temel Paralel Desenler

Eşleme (map) ve eleman bazlı dönüşümler
Şablon (stencil) ve iki boyutlu evrişim deseni
Paralel indirgeme (reduction) ve toplam hesaplama
Histogram hesaplama ve yarış durumu (race condition)
Atomik işlemler ve paralel önek toplamı (prefix sum)
Laboratuvar: GPU üzerinde paralel histogram eşitleme

Modül 2

Paylaşımlı Bellek ve Döşeme

Global bellek erişim maliyeti ve önbellek etkisi
Paylaşımlı bellek ile döşeme (tiling) tekniği
Sabit bellek ile evrişim filtresi saklama
Dal ayrışması (branch divergence) ve performans
İş parçacığı ve blok boyutunun doğru seçimi
Laboratuvar: Döşemeli evrişim ile Gauss bulanıklaştırma

Modül 3

CUDA Akışları ve Asenkron Yürütme

CUDA akışları (streams) ile eşzamanlı işlem kuyrukları
Aktarım ve hesaplamanın örtüştürülmesi
Olaylar ile zaman ölçümü ve senkronizasyon
cuBLAS, cuFFT ve Thrust gibi hazır kütüphaneler
RAPIDS cuDF ile GPU üzerinde veri çerçevesi işleme
Laboratuvar: Akışlarla toplu görüntü işleme hattı

Modül 4

Profilleme ve Darboğaz Analizi

Nsight Systems ile zaman çizelgesi analizi
Nsight Compute ile çekirdek düzeyi inceleme
Bellekle sınırlı ve hesaplamayla sınırlı iş yükleri
Aritmetik yoğunluk ile performans potansiyelinin yorumlanması
Laboratuvar: Yavaş bir işleme hattının profillenmesi
Günün özeti ve derin öğrenme için GPU gününe hazırlık

Günün hedefiPyTorch'un GPU üzerindeki çalışma mantığını kavramak, karma hassasiyet ve derleme ile eğitimi hızlandırmak, Triton ile özel çekirdek yazmak ve çoklu GPU eğitimini uygulamak.

Modül 1

PyTorch ve GPU İç Yapısı

Tensör depolama, adımlar (strides) ve bellek bitişikliği
CUDA önbellekli bellek ayırıcı ve bellek parçalanması
cuDNN ve cuBLAS çağrılarının model katmanlarındaki rolü
PyTorch Profiler ile işlem ve bellek analizi
DataLoader, pinned memory ve GPU'nun boşta kalması
Laboratuvar: Eğitim döngüsünde GPU kullanımını artırma

Modül 2

Karma Hassasiyet ve Derleme

FP32, FP16, BF16 ve FP8 sayı formatları
Otomatik karma hassasiyet (AMP) ve kayıp ölçekleme
torch.compile: grafik yakalama ve çekirdek birleştirme
Gradyan kontrol noktaları ile bellek-hız dengesi
FlashAttention: belleğe duyarlı dikkat hesaplaması
Laboratuvar: AMP ve torch.compile ile hızlanma ölçümü

Modül 3

Triton ve Özel CUDA Uzantıları

OpenAI Triton ile Python'da blok tabanlı GPU çekirdeği
Triton ile birleştirilmiş softmax çekirdeği yazımı
Otomatik ayar (autotune) ile blok boyutu seçimi
PyTorch C++/CUDA uzantısı ile özel işlem tanımlama
Özel çekirdekler için doğruluk ve gradyan testi
Laboratuvar: Triton çekirdeğinin PyTorch ile kıyası

Modül 4

Çoklu GPU ve Dağıtık Eğitim

NCCL kolektif iletişim: all-reduce, all-gather
DistributedDataParallel (DDP) ile veri paralelliği
FSDP ile model ve optimizer durumunu parçalama
İletişim darboğazı, NVLink ve ölçekleme verimliliği
Laboratuvar: torchrun ile çoklu GPU eğitim yapılandırması
Günün değerlendirmesi ve çıkarım ile video gününe köprü

Günün hedefiGörüntü ve video çözme, ön işleme ve çıkarımı tamamen GPU üzerinde yürütmek, TensorRT ile modeli optimize etmek, GPU altyapısını planlamak ve optimizasyon projesini sunmak.

Modül 1

GPU Hızlandırmalı Görüntü ve Video Hattı

CPU tabanlı ön işlemenin veri hattı darboğazı
NVIDIA DALI ile GPU üzerinde veri yükleme ve artırma
NVDEC ve NVENC ile donanım hızlandırmalı video çözme
CV-CUDA ve OpenCV CUDA modülü ile görüntü işlemleri
Sıfır kopya ile çözme, ön işleme ve çıkarım akışı
Laboratuvar: Çoklu video akışında GPU'da uçtan uca işlem

Modül 2

TensorRT ile Çıkarım Optimizasyonu

ONNX dışa aktarımı ve TensorRT motoru oluşturma
Katman birleştirme, çekirdek otomatik ayarı ve hassasiyet
INT8 kalibrasyonu ve doğruluk kaybı analizi
Dinamik girdi boyutları ve toplu işleme profilleri
Triton Inference Server ile dinamik toplu servisleme
Laboratuvar: Segmentasyon modelinde TensorRT hızlanması

Modül 3

GPU Altyapısı ve Kaynak Yönetimi

Eğitim ve çıkarım için GPU seçimi ve kapasite planı
Multi-Instance GPU (MIG) ile kaynak paylaşımı
NVIDIA GPU Operator ile Kubernetes üzerinde GPU
DCGM ile kullanım, sıcaklık ve hata izleme
AMD ROCm, oneAPI ve alternatif hızlandırıcılara bakış
Vaka: GPU kullanım oranını artıran kümeleme stratejisi

Modül 4

GPU Optimizasyon Projesi ve Kapanış

Grup projesi: bir yapay zeka hattının profil ve optimizasyonu
Proje sunumları ve önce-sonra hızlanma raporları
Kurumsal GPU verimliliği yol haritası çalışması
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar kodlarının teslimi
İleri öğrenme kaynakları ve kapanış oturumu

Eğitim Kazanımları

GPU Mimarisi — GPU mimarisini, bellek hiyerarşisini ve CUDA yürütme modelini performans kararlarına yansıtabileceksiniz.
CUDA Çekirdekleri — Numba, CuPy ve CUDA C++ ile doğru indekslenmiş, verimli paralel çekirdekler yazabileceksiniz.
Paralel Desenler — Evrişim, indirgeme ve histogram gibi paralel desenleri paylaşımlı bellek ve döşemeyle uygulayacaksınız.
Profil Analizi — Nsight Systems, Nsight Compute ve PyTorch Profiler ile darboğazları tespit edip giderebileceksiniz.
Eğitim Hızlandırma — Karma hassasiyet, torch.compile ve veri hattı iyileştirmeleriyle model eğitimini hızlandırabileceksiniz.
Triton Çekirdekleri — OpenAI Triton ile birleştirilmiş özel GPU çekirdekleri yazıp PyTorch modellerine entegre edebileceksiniz.
Çoklu GPU Eğitimi — NCCL, DDP ve FSDP ile eğitimi birden fazla GPU'ya ölçekleyip iletişim darboğazlarını yönetebileceksiniz.
Uçtan Uca Hat — DALI, NVDEC ve TensorRT ile video çözmeden çıkarıma kadar GPU üzerinde çalışan hatlar kuracaksınız.

Kimler İçin Uygundur?

Yapay zeka ve makine öğrenmesi mühendisleri
bilgisayarlı görü ve video işleme geliştiricileri
yüksek başarımlı hesaplama (HPC) uzmanları ile MLOps ve altyapı ekipleri.

Sıkça Sorulan Sorular

Grafik İşlemci Programlama ve Yapay Zeka Eğitimi kimler için uygundur?

Program; derin öğrenme eğitim ve çıkarım süreçlerini hızlandırmak isteyen yapay zeka mühendisleri, bilgisayarlı görü ve video işleme geliştiricileri, yüksek başarımlı hesaplama uzmanları ile GPU altyapısını yöneten MLOps ekipleri için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl yapılandırılmıştır?

Eğitim 4 tam gün ve 16 modülden oluşur. Sırasıyla GPU mimarisi ve CUDA temelleri, paralel desenler ve profilleme, derin öğrenme için GPU optimizasyonu, son gün görüntü-video hatları, TensorRT, GPU altyapısı ve proje işlenir.

PyTorch kullanan biri neden CUDA ve Triton öğrenmeli?

Hazır kütüphaneler çoğu durumu karşılasa da darboğazları anlamak, bellek sorunlarını çözmek ve özel işlemler için birleştirilmiş çekirdek yazmak GPU mimarisi bilgisi gerektirir. Bu bilgi eğitim süresini ve çıkarım maliyetini doğrudan azaltmayı sağlar.

Katılım için hangi ön koşullar ve donanım gerekiyor?

Python ve temel C/C++ bilgisi, PyTorch ile model eğitme deneyimi ve Linux komut satırı aşinalığı beklenir. Laboratuvarlar CUDA destekli NVIDIA GPU gerektirir; donanımı olmayan katılımcılar için bulut GPU ortamı sağlanabilir.

Hangi araçlar kullanılıyor ve sertifika veriliyor mu?

CUDA Toolkit, Numba, CuPy, Thrust, RAPIDS cuDF, Nsight Systems, Nsight Compute, PyTorch Profiler, OpenAI Triton, NCCL, NVIDIA DALI, CV-CUDA, TensorRT ve Triton Inference Server kullanılır. Katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GRAFİK İŞLEMCİ PROGRAMLAMA VE YAPAY ZEKA EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Paralel Hesaplama ve GPU Mimarisi

CUDA Yürütme Modeli

Bellek Yönetimi ve Veri Aktarımı

CUDA C++ ile Çekirdek Geliştirme

Temel Paralel Desenler

Paylaşımlı Bellek ve Döşeme

CUDA Akışları ve Asenkron Yürütme

Profilleme ve Darboğaz Analizi

PyTorch ve GPU İç Yapısı

Karma Hassasiyet ve Derleme

Triton ve Özel CUDA Uzantıları

Çoklu GPU ve Dağıtık Eğitim

GPU Hızlandırmalı Görüntü ve Video Hattı

TensorRT ile Çıkarım Optimizasyonu

GPU Altyapısı ve Kaynak Yönetimi

GPU Optimizasyon Projesi ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi