Yapay Zeka İşlemci Mimarileri Eğitimi

Eğitim Hakkında

Bu eğitim, yapay zeka iş yüklerinin donanım üzerinde nasıl çalıştığını anlamak, uygun hızlandırıcıyı seçmek ve performans, enerji ve maliyet optimizasyonu yapmak isteyen mühendisler için tasarlanmış ileri düzey bir programdır. Katılımcılar CPU, GPU, ASIC, FPGA ve NPU mimarilerini, CUDA ve Triton çekirdeklerini, ML derleyicilerini, nicelemeyi ve dağıtık sistemleri uygular.

Neden Bu Eğitim?

Donanım-Yazılım Birlikte. Model mimarisi, derleyici ve silikon arasındaki etkileşimi bütünsel görüp darboğazları kaynağında çözün.

Ölçülebilir Optimizasyon. Roofline modeli, profilleme ve MLPerf yaklaşımıyla performansı tahmine değil ölçüme dayalı iyileştirin.

Bilinçli Donanım Seçimi. Veri merkezinden uç cihaza kadar doğru hızlandırıcıyı iş yükü, enerji ve toplam maliyet ölçütleriyle seçin.

“Yapay zekadaki bir sonraki sıçrama yalnızca büyük modellerden değil, onları verimli çalıştıran akıllıca tasarlanmış silikondan gelecek.”

Ön Koşullar

Bilgisayar Mimarisi — İşlemci, bellek hiyerarşisi, önbellek ve paralellik kavramlarına lisans düzeyinde hakimiyet.
Programlama — C/C++ veya Python ile programlama deneyimi; Linux komut satırına aşinalık.
Derin Öğrenme Temeli — Sinir ağı katmanları, eğitim ve çıkarım süreçleri ile PyTorch kullanımına temel aşinalık.
GPU Erişimi — CUDA destekli bir NVIDIA GPU'ya sahip iş istasyonu veya bulut GPU sunucusu erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiYapay zeka iş yüklerinin hesaplama ve bellek karakteristiğini çözümlemek, mimari temelleri ve CPU hızlandırmayı kavramak ve roofline modeliyle performans analizi yapmak.

Modül 1

YZ İş Yüklerinin Hesaplama Karakteristiği

Temel işlemler: matris çarpımı, evrişim ve dikkat
Parametre sayısı, FLOPs ve aktivasyon belleği hesabı
Eğitim ile çıkarım iş yüklerinin donanım talepleri
LLM'de ön doldurma (prefill) ve kod çözme (decode) farkı
Hesaplama sınırlı ve bellek sınırlı iş yükleri
Atölye: Bir LLM'in bellek ve hesaplama bütçesi hesabı

Modül 2

Bilgisayar Mimarisi Temelleri

Von Neumann darboğazı ve bellek duvarı sorunu
Bellek hiyerarşisi: SRAM, DRAM, HBM ve depolama
Paralellik türleri: SIMD, çok çekirdek ve veri akışı
Amdahl ve Gustafson yasaları ile ölçekleme sınırları
Dennard ölçeklemesinin sonu ve özelleşmiş donanım
Atölye: Katman bazında veri hareketi maliyeti analizi

Modül 3

CPU Üzerinde Yapay Zeka

Vektör uzantıları: AVX-512, Intel AMX ve Arm SVE
Çok iş parçacıklı çıkarım ve NUMA farkındalığı
OpenVINO ve ONNX Runtime ile CPU optimizasyonu
Intel oneDNN ve Arm Compute Library kütüphaneleri
CPU'nun ne zaman yeterli olduğu: maliyet analizi
Laboratuvar: CPU'da AMX ile ve olmadan çıkarım kıyası

Modül 4

Performans Ölçümü ve Roofline Modeli

Roofline modeli: aritmetik yoğunluk ve bant genişliği
Linux perf ve donanım sayaçları ile profilleme
PyTorch Profiler ile operatör düzeyi analiz
MLPerf Training ve Inference kıyaslama metodolojisi
Gecikme, verim, enerji ve maliyet metrikleri
Laboratuvar: Transformer bloğunun roofline analizi

Günün hedefiGPU mikro mimarisini ve bellek yapısını kavramak, CUDA programlama modelini uygulamak, Triton ile optimize çekirdekler yazmak ve farklı GPU ekosistemlerini karşılaştırmak.

Modül 1

GPU Mikro Mimarisi

Akış çoklu işlemcileri, iş parçacığı grupları ve SIMD
GPU bellek yapısı: HBM, bant genişliği ve kapasite
NVIDIA Hopper ve Blackwell mimarilerine genel bakış
AMD Instinct hızlandırıcıları ve mimari farkları
Transformer Engine ve FP8 düşük hassasiyetli hesaplama
Atölye: GPU veri sayfalarından mimari karşılaştırma

Modül 2

CUDA Programlama Modeli

Çekirdek (kernel), iş parçacığı, blok ve ızgara yapısı
Ana bellek ve cihaz belleği arasında veri transferi
Paylaşımlı bellek ile döşeme (tiling) optimizasyonu
CUDA akışları (streams) ile asenkron yürütme
cuBLAS ve cuDNN kütüphanelerinin kullanımı
Laboratuvar: CUDA ile matris çarpımı çekirdeği yazma

Modül 3

Triton, Çekirdek Füzyonu ve Derleme

Bellek erişim darboğazı ve çekirdek füzyonu mantığı
OpenAI Triton dili ile blok tabanlı GPU programlama
FlashAttention: G/Ç farkında dikkat hesaplaması
torch.compile ve TorchInductor ile otomatik füzyon
Nsight Systems ve Nsight Compute ile GPU profilleme
Laboratuvar: Triton ile füzyonlu softmax çekirdeği

Modül 4

GPU Ekosistemleri ve Taşınabilirlik

AMD ROCm ve HIPIFY ile CUDA kodunun taşınması
Intel oneAPI, SYCL ve çoklu üretici programlama
PyTorch arka uçları ve donanımdan bağımsız katman
Yazılım ekosistemi olgunluğunun seçimdeki ağırlığı
Çoklu GPU'da bellek ve hesaplama bölüştürme
Laboratuvar: Aynı modelin farklı arka uçlarda kıyası

Günün hedefiASIC tabanlı hızlandırıcıları ve yeni nesil mimarileri karşılaştırmak, FPGA üzerinde yüksek seviye sentezle hızlandırıcı geliştirmek ve tasarım ilkelerini uygulamak.

Modül 1

ASIC Tabanlı YZ Hızlandırıcıları

Google TPU mimarisi ve XLA ile birlikte tasarım
AWS Trainium ve Inferentia hızlandırıcıları
Intel Gaudi mimarisi ve entegre Ethernet
Uygulamaya özgü tasarımın esneklik ve verim dengesi
Model mimarisi değişiminin ASIC'ler üzerindeki riski
Vaka: Bulut çıkarım hizmeti için ASIC ve GPU kıyası

Modül 2

Yeni Nesil ve Araştırma Mimarileri

Cerebras wafer ölçekli motor (WSE) yaklaşımı
Groq LPU ve deterministik çıkarım mimarisi
Bellek içi hesaplama ve analog hızlandırıcılar
Nöromorfik işlemciler: Intel Loihi 2 örneği
Fotonik hesaplama ve olgunluk düzeyi değerlendirmesi
Tartışma: Hangi mimariler ana akıma dönüşebilir?

Modül 3

FPGA ile Yapay Zeka Hızlandırma

FPGA yapısı: LUT, DSP blokları ve BRAM kaynakları
Yüksek seviye sentez: AMD Vitis HLS ile tasarım akışı
hls4ml ile sinir ağını FPGA donanımına dönüştürme
Döngü açma, boru hattı ve dizi bölümleme pragmaları
Gecikme kritik uygulamalar: sinyal işleme ve tetikleme
Laboratuvar: hls4ml ile küçük ağın FPGA sentezi

Modül 4

Hızlandırıcı Tasarım İlkeleri

Veri akışı mimarileri ve uzamsal hızlandırıcılar
Eyeriss yaklaşımı: veri hareketini azaltma
Döngü sıralama, döşeme ve eşleme (mapping) uzayı
Timeloop ile hızlandırıcı tasarım uzayı keşfi
Alan, güç ve performans (PPA) değerlendirmesi
Laboratuvar: Evrişim katmanı için eşleme keşfi

Günün hedefiUç ve mobil NPU mimarilerini tanımak, ML derleyici katmanlarını kavramak, niceleme ve seyreklikle modelleri sıkıştırmak ve uç cihazda gecikme ile enerji ölçümü yapmak.

Modül 1

Uç ve Mobil Yapay Zeka İşlemcileri

NPU mimarileri: Qualcomm Hexagon ve Apple Neural Engine
NVIDIA Jetson Orin ve gömülü GPU platformları
Arm Ethos NPU ve mikrodenetleyicide TinyML
RISC-V vektör uzantısı ve açık YZ çekirdekleri
Güç bütçesi, termal sınırlar ve SWaP kısıtları
Vaka: Akıllı kamera için işlemci seçim analizi

Modül 2

Makine Öğrenmesi Derleyicileri

Hesaplama grafiği, ara temsil (IR) ve alçaltma
MLIR altyapısı ve lehçe (dialect) kavramı
Apache TVM ve otomatik ayar (autotuning) yaklaşımı
XLA, TensorRT ve ONNX Runtime yürütme sağlayıcıları
Operatör füzyonu, sabit katlama ve bellek planlama
Laboratuvar: TVM ile model derleme ve ayarlama

Modül 3

Niceleme, Seyreklik ve Sıkıştırma

Sayı formatları: FP16, BF16, INT8, FP8 ve FP4
Eğitim sonrası niceleme ve nicelemeye duyarlı eğitim
LLM niceleme: GPTQ ve AWQ yöntemleri
Mikro ölçekli formatlar: MXFP4 ve NVFP4
Yapılandırılmış seyreklik: 2:4 desen ve donanım desteği
Laboratuvar: INT8 nicelemenin doğruluk ve hız etkisi

Modül 4

Uç Cihazda Dağıtım ve Ölçüm

ONNX dışa aktarma ve operatör uyumluluğu kontrolü
TensorRT motoru oluşturma ve kalibrasyon verisi
Jetson üzerinde gecikme, verim ve güç ölçümü
Çok modelli uç uygulamalarda kaynak paylaşımı
Donanım farkında sinir ağı mimari araması (NAS)
Laboratuvar: Tespit modelinin uç cihaza dağıtımı ve gün sonu

Günün hedefiDağıtık eğitimde ara bağlantı ve paralellik stratejilerini kavramak, LLM çıkarımını optimize etmek, veri merkezi eğilimlerini değerlendirmek ve projeyi sunmak.

Modül 1

Ara Bağlantılar ve Dağıtık Eğitim

NVLink, NVSwitch, PCIe ve CXL bağlantı teknolojileri
InfiniBand, RoCE ve Ultra Ethernet ağ yapıları
UALink ve açık hızlandırıcı bağlantı standartları
Veri, tensör, boru hattı ve uzman paralelliği
NCCL kolektif iletişim ve all-reduce algoritmaları
Laboratuvar: Çoklu GPU'da iletişim darboğazı analizi

Modül 2

LLM Çıkarım Sistemleri

KV önbelleği bellek hesabı ve PagedAttention
vLLM ile sürekli toplu işleme (continuous batching)
Spekülatif kod çözme ve taslak model yaklaşımı
Ön doldurma ve kod çözme ayrıştırmalı sunum
Bellek bant genişliğinin token hızına etkisi
Laboratuvar: vLLM ile verim ve gecikme ayarlaması

Modül 3

Veri Merkezi, Paketleme ve Gelecek Eğilimler

Raf yoğunluğu, sıvı soğutma ve enerji verimliliği
Watt başına performans ve toplam sahip olma maliyeti
Çipletler, UCIe ve 2.5B/3B ileri paketleme
HBM tedariki, üretim düğümleri ve tedarik zinciri
İhracat kontrolleri ve donanım egemenliği tartışmaları
Vaka: 1.000 GPU'luk eğitim kümesi kapasite planı

Modül 4

Mimari Tasarım Projesi ve Kapanış

Proje: Belirli bir iş yükü için hızlandırıcı önerisi
Proje sunumları ve roofline, TCO gerekçelendirmesi
Kurumsal YZ altyapısı yetkinlik yol haritası
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar materyallerinin teslimi
İleri öğrenme kaynakları ve kapanış

Eğitim Kazanımları

İş Yükü Analizi — YZ modellerinin hesaplama, bellek ve bant genişliği ihtiyacını hesaplayıp darboğaz türünü belirleyebileceksiniz.
Performans Ölçümü — Roofline modeli, donanım sayaçları ve profilleme araçlarıyla performansı ölçüme dayalı analiz edebileceksiniz.
GPU Programlama — CUDA ve Triton ile füzyonlu çekirdekler yazarak GPU üzerindeki kritik işlemleri hızlandırabileceksiniz.
Hızlandırıcı Seçimi — GPU, TPU, Gaudi, wafer ölçekli ve nöromorfik mimarilerin güçlü ve zayıf yönlerini karşılaştırabileceksiniz.
FPGA Tasarımı — Vitis HLS ve hls4ml ile sinir ağlarını düşük gecikmeli FPGA hızlandırıcılarına dönüştürebileceksiniz.
Derleme ve Niceleme — TVM, TensorRT ve INT8-FP4 niceleme ile modelleri hedef donanım için sıkıştırıp optimize edebileceksiniz.
Uç Cihaz Dağıtımı — NPU ve Jetson gibi uç platformlarda modelleri dağıtıp gecikme, verim ve güç tüketimini ölçebileceksiniz.
Ölçekli Altyapı — Ara bağlantı, paralellik ve LLM çıkarım optimizasyonunu içeren gerekçeli bir YZ altyapısı tasarlayacaksınız.

Kimler İçin Uygundur?

Donanım ve gömülü sistem mühendisleri
ML sistem ve performans mühendisleri
HPC ve veri merkezi mimarları
yarı iletken Ar-Ge ekipleri ile teknik altyapı liderleri.

Sıkça Sorulan Sorular

Yapay Zeka İşlemci Mimarileri Eğitimi kimler için uygundur?

Program; donanım ve gömülü sistem mühendisleri, ML sistem ve performans mühendisleri, HPC ve veri merkezi mimarları, yarı iletken Ar-Ge ekipleri ile YZ altyapısı kararlarını yöneten teknik liderler için tasarlanmıştır.

Eğitim ne kadar sürer ve hangi konuları kapsar?

Eğitim 5 tam gün ve 20 modülden oluşur. İş yükü analizi ve CPU, GPU ve CUDA, özel hızlandırıcılar ve FPGA, uç cihazlar ile derleyiciler ve niceleme, son gün ölçekli sistemler ve mimari tasarım projesi işlenir.

Eğitimde çip tasarımı (RTL) yapılıyor mu?

Program RTL düzeyinde çip tasarım kursu değildir. Hızlandırıcı tasarım ilkeleri, tasarım uzayı keşfi ve yüksek seviye sentez ile FPGA uygulamaları işlenir; odak, iş yükü ile donanım arasındaki eşleşmeyi anlamak ve optimize etmektir.

Katılım için hangi ön bilgiler ve donanım gerekiyor?

Bilgisayar mimarisi temelleri, C/C++ veya Python deneyimi ve derin öğrenmeye temel aşinalık beklenir. Laboratuvarlar için CUDA destekli bir GPU'ya veya bulut GPU sunucusuna erişim gerekir; FPGA ve uç cihaz uygulamaları demo ortamlarıyla desteklenir.

Eğitim sonunda sertifika veriliyor mu, içerik uyarlanabilir mi?

Programı tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır. Kapalı kurum gruplarında içerik veri merkezi altyapısı, gömülü savunma sistemleri veya mobil cihaz odağına göre uyarlanabilir.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

YAPAY ZEKA İŞLEMCİ MİMARİLERİ EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

YZ İş Yüklerinin Hesaplama Karakteristiği

Bilgisayar Mimarisi Temelleri

CPU Üzerinde Yapay Zeka

Performans Ölçümü ve Roofline Modeli

GPU Mikro Mimarisi

CUDA Programlama Modeli

Triton, Çekirdek Füzyonu ve Derleme

GPU Ekosistemleri ve Taşınabilirlik

ASIC Tabanlı YZ Hızlandırıcıları

Yeni Nesil ve Araştırma Mimarileri

FPGA ile Yapay Zeka Hızlandırma

Hızlandırıcı Tasarım İlkeleri

Uç ve Mobil Yapay Zeka İşlemcileri

Makine Öğrenmesi Derleyicileri

Niceleme, Seyreklik ve Sıkıştırma

Uç Cihazda Dağıtım ve Ölçüm

Ara Bağlantılar ve Dağıtık Eğitim

LLM Çıkarım Sistemleri

Veri Merkezi, Paketleme ve Gelecek Eğilimler

Mimari Tasarım Projesi ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi