TRANSFORMER MİMARİSİ VE DİKKAT MEKANİZMASI EĞİTİMİ

Ön Koşullar

• PyTorch Deneyimi — nn.Module ile model tanımlayıp eğitim döngüsü yazmış ve GPU üzerinde çalışmış olmak.
• Doğrusal Cebir — Matris çarpımı, softmax, vektör benzerliği ve boyut analizi konusunda rahatlık.
• Derin Öğrenme Temeli — Geri yayılım, embedding, normalizasyon ve RNN kavramlarına hakimiyet.
• GPU Erişimi — CUDA destekli GPU'lu bir makine veya GPU sunan bulut not defteri erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Eğitim Kazanımları

• Dikkat Matematiği — Ölçekli nokta çarpım ve çok başlı dikkati türetip maskeleme dahil tüm adımlarıyla kodlayabileceksiniz.
• Belirteçleme — BPE ve SentencePiece belirteçleyicilerin Türkçe metinde maliyet ve kaliteye etkisini değerlendirebileceksiniz.
• Konum Kodlama — Sinüzoidal, RoPE ve ALiBi konum yöntemlerinin farklarını ve uzun bağlama etkilerini açıklayabileceksiniz.
• Sıfırdan Transformer — PyTorch ile tam bir Transformer bloğu yazıp küçük bir kod çözücü dil modelini eğitebileceksiniz.
• Model Aileleri — BERT, GPT, T5, ViT ve CLIP gibi modellerin ön eğitim hedeflerini karşılaştırıp doğru aileyi seçebileceksiniz.
• Verimli Dikkat — FlashAttention, GQA, MoE ve KV önbellek tekniklerinin bellek ve gecikmeye etkisini ölçebileceksiniz.
• Çıkarım Optimizasyonu — Nicemleme, spekülatif kod çözme ve vLLM ile Transformer modellerini maliyet etkin servisleyebileceksiniz.
• Model Uyarlama — LoRA ve QLoRA ile açık ağırlıklı modelleri kurumunuzun Türkçe görevlerine uyarlayıp değerlendireceksiniz.

Kimler İçin Uygundur?

• ML mühendisleri
• NLP ve LLM uygulamaları geliştiren veri bilimciler
• derin öğrenme araştırmacıları ile büyük dil modellerini içeriden anlamak isteyen teknik YZ ekipleri.

Sıkça Sorulan Sorular

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.