Cambricon MLU BANGPy ve Neuware

Eğitim Hakkında

MLU mimarisi üzerinde BANGPy ile özel operatör geliştirme ve model optimizasyonu

Eğitim, Cambricon MLU yapay zekâ hızlandırıcılarında yazılım geliştirmeyi ele alır. MLU çekirdek mimarisi, NRAM/WRAM/GDRAM bellek hiyerarşisi, Neuware SDK bileşenleri (CNToolkit, CNNL, CNCL, CNRT, CNDrv), BANGPy ile Python tabanlı çekirdek yazımı, tiling ve vektörleştirme, PyTorch (torch_mlu) ve TensorFlow entegrasyonu, MagicMind ile model derleme ve INT8 nicemleme, cnmon ve cnperf ile profilleme uygulamalı işlenir.

Süre ve Format

2 Gün. Her gün dört modül; MLU Mimarisi ve Neuware SDK; BANGPy, CNNL ve Optimizasyon ekseninde ilerleyen uygulamalı program.

Seviye

Uzman Seviye — Cambricon MLU hızlandırıcılarında BANGPy, Neuware SDK, CNNL kütüphanesi ve model dağıtımı.

Öğrenme Metodu

MLU erişimi olan bir ortamda vektör toplama, matris çarpımı ve aktivasyon operatörleri BANGPy ile yazılır, doğrulanır ve cnperf ile profillenir.

Neden Bu Eğitim?

🧮Donanım Hızlandırma

MLU bellek hiyerarşisini kullanarak operatör performansını artırırsınız.

🐍Python ile Çekirdek

BANGPy ile düşük seviye çekirdekleri Python sözdizimiyle geliştirirsiniz.

📉Optimizasyon

Nicemleme ve MagicMind ile çıkarım gecikmesini düşürürsünüz.

Anahtar Konular

Cambricon MLUBANGPyNeuware SDKMLU geliştirmeCNNLMagicMindyapay zeka hızlandırıcıAI çip programlamatorch_mlucnperf

“Hızlandırıcıdan performans almanın yolu, veriyi doğru yere taşımaktan geçer.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python

Orta düzey Python ve NumPy bilgisi gerekir.

2

Derin Öğrenme

Tensör, katman ve çıkarım kavramları bilinmelidir.

3

Paralel Hesaplama

GPU/CUDA veya benzeri paralel programlama deneyimi yararlıdır.

4

MLU Erişimi

Cambricon MLU kartı veya uzak MLU sunucusu erişimi gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, MLU mimarisini ve Neuware bileşenlerini tanıyıp geliştirme ortamını kurar.

Modül 1

MLU Mimarisi

MLU çekirdek, cluster ve IPU yapısı
NRAM, WRAM, SRAM ve GDRAM belleği
Veri hareketi ve DMA
MLU270, MLU370 ve MLU590 kuşakları
Hesaplama modeli (task type: BLOCK, UNION)
GPU ile karşılaştırma

Modül 2

Neuware SDK

CNToolkit bileşenleri ve sürüm uyumu
CNRT çalışma zamanı: cihaz, kuyruk, olay
CNDrv sürücü ve cnmon aracı
Docker imajı ve ortam kurulumu
Ortam değişkenleri
Kurulum doğrulama (cnmon, örnek programlar)

Modül 3

CNRT ile Temel Programlama

Cihaz seçimi ve bellek ayırma
Host-device veri kopyalama
Kuyruk (queue) ve senkronizasyon
Olay ile süre ölçümü
Hata kodları ve ayıklama
Basit program akışı

Modül 4

Çerçeve Entegrasyonu

torch_mlu ile PyTorch çalıştırma
TensorFlow MLU eklentisi
Cihaz taşıma: .to("mlu")
AMP ve karma duyarlık
Dağıtık eğitim için CNCL
Sürüm ve operatör desteği matrisi

Günün hedefiKatılımcı, BANGPy ile özel operatör yazar, kütüphane ve MagicMind ile model optimizasyonu yapar.

Modül 1

BANGPy Çekirdek Yazımı

BANGPy programlama modeli ve tensör tanımı
Bellek kopyası: GDRAM-NRAM
Vektör ve skaler işlemler
Döngü ve tiling stratejisi
Derleme ve çalıştırma akışı
Vektör toplama ve ReLU operatörü

Modül 2

İleri Operatör Geliştirme

Matris çarpımı ve WRAM kullanımı
Softmax ve azaltma (reduce) operatörleri
Çift tamponlama ve gecikme gizleme
Veri tipleri: float16, bfloat16, int8
Doğrulama: NumPy ile sonuç karşılaştırma
Özel operatörün PyTorch'a bağlanması

Modül 3

CNNL ve MagicMind

CNNL operatör kütüphanesi API'si
Tensör tanımlayıcı ve algoritma seçimi
MagicMind ile model derleme (ONNX girişi)
INT8 nicemleme ve kalibrasyon
Dinamik şekil ve toplu işlem
Çıkarım motoru dağıtımı

Modül 4

Profilleme ve Performans

cnperf ve cnmon ile ölçüm
Bellek bant genişliği ve hesaplama darboğazı
Çekirdek başlatma ek yükü
Tiling parametre ayarı
Kıyaslama (benchmark) metodolojisi
Kapanış projesi: operatör optimizasyonu

Eğitim Kazanımları

Program sonunda katılımcılar:

⚡

MLU Mimarisi

MLU bellek hiyerarşisini ve çalıştırma modelini açıklayabilirsiniz.

🛠️

Neuware Kurulumu

Neuware SDK ortamını kurup doğrulayabilirsiniz.

🎯

CNRT Kullanımı

Cihaz, kuyruk ve bellek işlemlerini yönetebilirsiniz.

🧩

PyTorch Entegrasyonu

torch_mlu ile modelleri MLU üzerinde çalıştırabilirsiniz.

🔍

BANGPy Operatörü

BANGPy ile özel operatör yazabilirsiniz.

📈

Tiling

Veriyi NRAM boyutuna göre parçalayıp çift tamponlama uygulayabilirsiniz.

🔐

MagicMind

Modeli INT8 nicemleyip MagicMind ile derleyebilirsiniz.

🚀

Profilleme

cnperf ile darboğazı bulup optimize edebilirsiniz.

Kimler İçin Uygundur?

Yapay zekâ altyapı mühendisleri
çekirdek/operatör geliştiricileri
Cambricon MLU donanımında model dağıtımı yapacak ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Yapay zekâ altyapı mühendisleri, çekirdek/operatör geliştiricileri ve Cambricon MLU donanımında model dağıtımı yapacak ekipler için uygundur.

MLU donanımı gerekir mi?

Evet, uygulamalar için MLU kartı veya uzak MLU sunucusu erişimi gerekir; ortam gereksinimleri öncesinde paylaşılır.

CUDA bilgisi yeterli mi?

CUDA deneyimi yararlıdır; MLU'ya özgü bellek modeli eğitimde anlatılır.

Hangi çerçeveler kullanılır?

PyTorch (torch_mlu) ve ONNX tabanlı MagicMind akışı kullanılır.

Cambricon ile resmi ilişkiniz var mı?

Eğitim kamuya açık teknik dokümantasyon temelli olup DVA Katılım ve Başarı Sertifikası verir; üretici onaylı bir program değildir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

CAMBRICON MLU DEVELOPMENT WITH BANGPY AND NEUWARE EĞİTİMİ