Çoklu Modalite Yapay Zeka Sistemleri Eğitimi

Eğitim Hakkında

Bu eğitim, metin, görüntü, belge, ses ve video verisini birlikte işleyen çok modlu yapay zeka sistemleri geliştirecek teknik ekipler için tasarlanmış ileri düzey bir programdır. Katılımcılar karşıtsal temsil öğrenmeyi, görsel-dil modellerini, konuşma işleme hatlarını, çok modlu RAG mimarisini, görsel-dil modeli ince ayarını, değerlendirmeyi ve servislemeyi uygular.

Neden Bu Eğitim?

Modaliteler Arası Anlam. Görüntü, ses ve metni ortak bir temsil uzayında buluşturan yöntemlerle tek modaliteli sistemlerin sınırını aşın.

Gerçek Kurumsal Veri. Taranmış belgeler, grafikler, saha fotoğrafları ve çağrı kayıtları gibi karma veriyi tek hatta işleyin.

Uçtan Uca Mühendislik. Model seçiminden ince ayara, çok modlu RAG'den maliyet ve gecikme optimizasyonuna kadar sistemi bütün olarak kurun.

“İnsanlar dünyayı görerek, duyarak ve okuyarak anlar; çok modlu yapay zeka da değerini verinin bütününü anlamlandırarak üretir.”

Ön Koşullar

PyTorch Deneyimi — PyTorch ile model eğitmiş, veri yükleyici ve eğitim döngüsü yazabilir olmak.
Transformer Bilgisi — Dikkat mekanizması, gömmeler ve Hugging Face Transformers kullanımına aşinalık.
Görü veya Ses Temeli — Evrişimli ağlar, görüntü ön işleme veya ses sinyali temellerinden en az birini bilmek.
GPU Erişimi — En az 24 GB belleğe sahip GPU veya eğitim süresince sağlanan bulut GPU ortamı.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiModaliteye özgü kodlayıcıları ve füzyon stratejilerini kavramak, karşıtsal öğrenmeyle ortak temsil uzayı oluşturmak ve çok modlu gömmelerle arama ve sınıflandırma yapmak.

Modül 1

Çok Modlu Yapay Zekaya Giriş

Modalite kavramı: metin, görüntü, ses, video, sensör
Tek modaliteli sistemlerin sınırları ve çok modlu fırsatlar
Hizalama, çeviri, füzyon ve ortak öğrenme problemleri
Kurumsal senaryolar: sigorta, üretim, sağlık, medya
Çok modlu veri setleri ve etiketleme zorlukları
Tartışma: Kurumunuzdaki karma veri kaynakları

Modül 2

Modalite Kodlayıcıları

Görü dönüştürücüler (ViT): yama ve konum gömmeleri
Görüntü çözünürlüğü ile görsel token sayısı ilişkisi
Ses için mel spektrogram ve ses kodlayıcıları
Video için zamansal örnekleme ve kare seçimi
Önceden eğitilmiş kodlayıcıların dondurulması ve uyarlanması
Laboratuvar: ViT ve ses kodlayıcıdan özellik çıkarımı

Modül 3

Füzyon Stratejileri

Erken, geç ve ara katman füzyonu yaklaşımları
Çapraz dikkat (cross-attention) ile modalite etkileşimi
Projeksiyon katmanları ile gömme uzaylarını eşleme
Eksik modalite durumunda dayanıklı model tasarımı
Tablo, görüntü ve metni birleştiren tahmin modelleri
Laboratuvar: Görüntü ve açıklamayla ürün sınıflandırma

Modül 4

Karşıtsal Öğrenme ve Ortak Uzay

CLIP: görüntü-metin çiftleriyle karşıtsal ön eğitim
InfoNCE kaybı, sıcaklık ve toplu negatif örnekler
SigLIP ve çok dilli görüntü-metin modelleri
Sıfır örnekli görüntü sınıflandırma ve metinle arama
Laboratuvar: CLIP ile ürün kataloğunda görsel arama
Günün değerlendirmesi ve görsel-dil modelleri gününe köprü

Günün hedefiGörsel-dil modellerinin mimarisini kavramak, belge, grafik ve video anlama görevlerinde uygulamak, konum belirleme yapmak ve görsel-dil modeline LoRA ile ince ayar yapmak.

Modül 1

Görsel-Dil Modeli Mimarisi

Görsel kodlayıcı, bağlayıcı ve dil modeli bileşenleri
LLaVA tarzı görsel talimat ayarı yaklaşımı
Açık modeller: Qwen-VL, Gemma ve Llama görsel sürümleri
Kapalı çok modlu modeller: GPT, Gemini ve Claude
Dinamik çözünürlük, görsel token bütçesi ve maliyet
Laboratuvar: Açık bir VLM ile görsel soru yanıtlama

Modül 2

Belge, Tablo ve Grafik Anlama

OCR tabanlı ve OCR gerektirmeyen belge anlama
Düzen (layout) farkındalığı: başlık, tablo, form alanı
Grafik ve gösterge panosundan veri ve yorum çıkarma
Taranmış Türkçe belgelerde karakter ve düzen sorunları
Yapılandırılmış JSON çıktısıyla alan çıkarımı
Laboratuvar: Sigorta hasar formu ve ek fotoğraf analizi

Modül 3

Görsel Konumlandırma ve Video Anlama

Görsel konumlandırma (grounding) ve sınırlayıcı kutu çıktısı
Açık kelime dağarcıklı nesne tespiti yaklaşımları
SAM 2 ile istemle segmentasyon ve VLM birleşimi
Video anlama: kare örnekleme, zamansal soru yanıtlama
Uzun videolarda özetleme ve olay arama stratejisi
Laboratuvar: Güvenlik kamerası videosunda olay arama

Modül 4

Görsel-Dil Modeline İnce Ayar

Görsel talimat veri seti formatı ve sohbet şablonu
TRL ve PEFT ile VLM üzerinde LoRA ince ayarı
Görsel kodlayıcıyı dondurma ve bağlayıcıyı eğitme
Alana özgü terminoloji ve çıktı formatı öğretimi
Laboratuvar: Ekipman arıza fotoğrafları için VLM ince ayarı
Günün özeti ve ses ile çok modlu RAG gününe hazırlık

Günün hedefiKonuşma tanıma ve sentezi içeren ses hatları kurmak, çok modlu içerik üretimini uygulamak ve görsel belgeler üzerinde çalışan çok modlu RAG sistemleri geliştirmek.

Modül 1

Konuşma Tanıma ve Ses Analitiği

Whisper ile Türkçe konuşma tanıma ve zaman damgaları
Konuşmacı ayrıştırma (diarization) ve pyannote.audio
Gürültü, aksan ve alan terimleri için doğruluk artırma
Kelime hata oranı (WER) ile performans ölçümü
Sesten duygu ve olay tespiti yaklaşımları
Laboratuvar: Çağrı kaydından konuşmacı bazlı döküm

Modül 2

Sesli Asistanlar ve Konuşma Sentezi

Metinden konuşmaya (TTS) modelleri ve doğal prozodi
Kademeli hat: konuşma tanıma, LLM ve konuşma sentezi
Uçtan uca konuşmadan konuşmaya gerçek zamanlı modeller
Gecikme bütçesi, söz kesme ve sıra alma yönetimi
Ses klonlama riskleri, rıza ve kimlik doğrulama
Demo: Gerçek zamanlı Türkçe sesli müşteri asistanı

Modül 3

Çok Modlu İçerik Üretimi

diffusers ile metinden görsele ve görsel düzenleme
Görsel koşullandırma ve marka tutarlılığı kontrolü
Görselden metne: alternatif metin ve ürün açıklaması
Metinden videoya üretimin kurumsal kullanım sınırları
C2PA ile içerik kaynağı bilgisi ve filigran yaklaşımları
Laboratuvar: Ürün fotoğrafından çok dilli katalog içeriği

Modül 4

Çok Modlu RAG Mimarisi

Metin, tablo ve görsel içeren belgelerde RAG zorlukları
Görüntü açıklaması üreterek metin tabanlı indeksleme
ColPali ile belge sayfası görüntüsü üzerinden erişim
Çok modlu gömmelerle karma arama ve yeniden sıralama
Yanıtta sayfa görüntüsü ve bölge atıfı gösterimi
Laboratuvar: Teknik kılavuzlar için çok modlu RAG

Günün hedefiÇok modlu modellerin doğruluğunu ve halüsinasyonlarını ölçmek, modaliteye özgü güvenlik ve gizlilik risklerini yönetmek, verimli servisleme kurmak ve projeyi sunmak.

Modül 1

Çok Modlu Değerlendirme

MMMU, DocVQA ve ChartQA gibi benchmarkların kapsamı
Nesne halüsinasyonu ve POPE yaklaşımıyla ölçüm
Kuruma özgü görsel soru-cevap test seti oluşturma
Alan çıkarımında alan düzeyi doğruluk metrikleri
İnsan değerlendirmesi ve hata kategorileri taksonomisi
Laboratuvar: Üç VLM için karşılaştırmalı değerlendirme

Modül 2

Güvenlik, Gizlilik ve Uyum

Görsel içine gizlenmiş talimatlarla istem enjeksiyonu
Çekişmeli görüntü ve ses örnekleriyle model yanıltma
Yüz ve ses verisi: KVKK kapsamında biyometrik veri
Otomatik bulanıklaştırma ve kişisel veri maskeleme
EU AI Act: duygu tanıma ve biyometrik sistem kısıtları
Uygulama: Çok modlu asistana karşı kırmızı takım testi

Modül 3

Servisleme ve Maliyet Optimizasyonu

vLLM ile görsel-dil modeli servisleme
Görüntü ön boyutlandırma ve görsel token azaltma
Niceleme ve toplu işleme ile verim artırma
Görüntü, ses ve video için asenkron işleme hatları
Bulut API ile kurum içi model maliyet karşılaştırması
Demo: Belge işleme hattında gecikme ve maliyet analizi

Modül 4

Uçtan Uca Çok Modlu Proje ve Kapanış

Grup projesi: veri, model, RAG, değerlendirme, servis
Proje sunumları ve canlı çok modlu demolar
Kurumsal çok modlu yapay zeka yol haritası çalışması
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar kodlarının teslimi
İleri öğrenme kaynakları ve kapanış oturumu

Eğitim Kazanımları

Ortak Temsil — CLIP ve SigLIP gibi karşıtsal yöntemlerle görüntü ve metni ortak uzayda temsil edip arama yapabileceksiniz.
Füzyon Tasarımı — Erken, geç ve çapraz dikkat tabanlı füzyon stratejilerini problem yapısına göre seçip uygulayabileceksiniz.
Görsel-Dil Modelleri — Açık ve kapalı VLM'lerle belge, grafik, fotoğraf ve video anlama görevlerini çözebileceksiniz.
VLM İnce Ayarı — TRL ve PEFT ile görsel-dil modellerini alana özgü görsel görevler için LoRA ile özelleştirebileceksiniz.
Konuşma Hatları — Whisper, konuşmacı ayrıştırma ve konuşma sentezini içeren Türkçe ses işleme hatları kurabileceksiniz.
Çok Modlu RAG — Tablo ve görsel içeren belgelerde ColPali ve çok modlu gömmelerle erişim yapan RAG sistemleri geliştireceksiniz.
Değerlendirme — Benchmarklar ve kuruma özgü test setleriyle çok modlu doğruluğu ve halüsinasyonları ölçebileceksiniz.
Güvenli Üretim — Görsel enjeksiyon ve biyometrik veri risklerini yöneten, maliyeti optimize edilmiş bir servis kuracaksınız.

Kimler İçin Uygundur?

Yapay zeka ve makine öğrenmesi mühendisleri
bilgisayarlı görü ve konuşma teknolojisi uzmanları
veri bilimciler ile belge
medya ve saha verisi işleyen Ar-Ge ekipleri.

Sıkça Sorulan Sorular

Çoklu Modalite Yapay Zeka Sistemleri Eğitimi kimler için uygundur?

Program; metin, görüntü, belge, ses ve video verisini birlikte işleyen sistemler geliştirecek yapay zeka ve makine öğrenmesi mühendisleri, bilgisayarlı görü ve konuşma teknolojisi uzmanları, veri bilimciler ve Ar-Ge ekipleri için tasarlanmıştır.

Çok modlu yapay zeka hangi kurumsal problemleri çözer?

Hasar fotoğrafı ve form birlikte değerlendirme, taranmış belge ve grafiklerden bilgi çıkarma, çağrı kayıtlarını analiz etme, teknik kılavuzlarda görsel içerikli soru yanıtlama ve video kayıtlarında olay arama başlıca kullanım alanlarıdır.

Eğitim ne kadar sürer ve nasıl yapılandırılmıştır?

Eğitim 4 tam gün ve 16 modülden oluşur. Sırasıyla çok modlu temsil öğrenme, görsel-dil modelleri ve belge anlama, ses, konuşma, çok modlu üretim ve RAG, son gün değerlendirme, güvenlik, servisleme ve proje işlenir.

Katılım için hangi ön koşullar gerekiyor?

PyTorch ile model eğitmiş olmak, transformer ve Hugging Face deneyimi ile görüntü veya ses işleme temellerinden birine hakim olmak beklenir. Laboratuvarlar için en az 24 GB belleğe sahip GPU veya sağlanan bulut ortamı kullanılır.

Hangi araçlar kullanılıyor ve sertifika veriliyor mu?

PyTorch, Hugging Face Transformers, TRL, PEFT, OpenCLIP, SAM 2, Whisper, pyannote.audio, diffusers, ColPali ve vLLM kullanılır; açık ve kapalı görsel-dil modelleri karşılaştırılır. Katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

ÇOKLU MODALİTE YAPAY ZEKA SİSTEMLERİ EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Çok Modlu Yapay Zekaya Giriş

Modalite Kodlayıcıları

Füzyon Stratejileri

Karşıtsal Öğrenme ve Ortak Uzay

Görsel-Dil Modeli Mimarisi

Belge, Tablo ve Grafik Anlama

Görsel Konumlandırma ve Video Anlama

Görsel-Dil Modeline İnce Ayar

Konuşma Tanıma ve Ses Analitiği

Sesli Asistanlar ve Konuşma Sentezi

Çok Modlu İçerik Üretimi

Çok Modlu RAG Mimarisi

Çok Modlu Değerlendirme

Güvenlik, Gizlilik ve Uyum

Servisleme ve Maliyet Optimizasyonu

Uçtan Uca Çok Modlu Proje ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi