YZ Güvenliği: Kırmızı Takım ve Çekişmeli YZ Eğitimi

Eğitim Hakkında

Bu eğitim, makine öğrenmesi modellerini, büyük dil modeli (LLM) uygulamalarını ve yapay zeka ajanlarını saldırgan bakış açısıyla test eden siber güvenlik ekipleri için tasarlanmış ileri düzey bir kırmızı takım programıdır. Katılımcılar kaçınma, zehirleme, gizlilik ve istem enjeksiyonu saldırılarını laboratuvarda uygular, bulguları savunma önlemlerine ve raporlara dönüştürür.

Neden Bu Eğitim?

Saldırgan Perspektifi. Model, veri ve istem katmanlarındaki zafiyetleri gerçek saldırı teknikleriyle kontrollü ortamda keşfedin.

Çerçeve Temelli Yöntem. MITRE ATLAS, OWASP LLM Top 10 ve NIST AI 100-2 taksonomisiyle tekrarlanabilir testler tasarlayın.

Saldırıdan Savunmaya. Her saldırı laboratuvarını ölçülebilir bir savunma önlemi, tespit kuralı ve iyileştirme önerisine bağlayın.

“Bir yapay zeka sistemine güvenebilmenin tek yolu, onu saldırganlardan önce ve onlardan daha yaratıcı biçimde sınamaktır.”

Ön Koşullar

Python Yetkinliği — Python ile betik yazabilmek, NumPy ve temel PyTorch kodunu okuyup değiştirebilmek.
Makine Öğrenmesi — Sınıflandırma, gradyan, kayıp fonksiyonu ve sinir ağı eğitimi kavramlarına hakim olmak.
Ofansif Güvenlik — Sızma testi metodolojisi, tehdit modelleme ve web/API güvenliği konusunda deneyim sahibi olmak.
Laboratuvar Ortamı — Docker kurulu, GPU'lu bir bulut not defterine veya eğitimde sağlanan laboratuvara erişim.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiYapay zeka sistemlerine özgü tehditleri tanımak, saldırı yüzeyini yaşam döngüsü boyunca haritalamak ve kırmızı takım görevinin kapsamını tanımlamak.

Modül 1

YZ Güvenliğine Giriş ve Tehdit Ortamı

Klasik yazılım güvenliği ile YZ güvenliği arasındaki farklar
Bütünlük, gizlilik ve erişilebilirlik saldırı sınıfları
Kaçınma, zehirleme, çıkarım ve kötüye kullanım saldırıları
Tehdit aktörleri: dolandırıcılar, rakipler, iç tehditler
Kamuya açık YZ güvenlik olaylarından çıkarılan dersler
Vaka: Bir sohbet botunun kötüye kullanım zinciri analizi

Modül 2

YZ Güvenlik Çerçeveleri ve Taksonomiler

MITRE ATLAS taktik ve teknik matrisinin kullanımı
OWASP Top 10 for LLM Applications risk kategorileri
NIST AI 100-2 çekişmeli makine öğrenmesi taksonomisi
Google SAIF ve güvenli YZ tasarım prensipleri
Çerçeveleri test planı ve bulgu sınıflandırmasına eşleme
Atölye: Örnek sistem için ATLAS teknik eşlemesi

Modül 3

ML Yaşam Döngüsünde Tehdit Modelleme

Veri toplama, eğitim, dağıtım ve çıkarım aşamaları
STRIDE yaklaşımının YZ bileşenlerine uyarlanması
Güven sınırları: veri kaynakları, model deposu, API
Saldırgan bilgisi: beyaz, gri ve kara kutu senaryolar
Risk önceliklendirme: etki, olasılık ve istismar kolaylığı
Atölye: Kredi skorlama sistemi için tehdit modeli

Modül 4

Kırmızı Takım Metodolojisi ve Laboratuvar

YZ kırmızı takımının kapsamı, kuralları ve etik sınırları
Görev tanımı, başarı kriterleri ve kanıt toplama
Laboratuvar kurulumu: Docker, Jupyter ve hedef modeller
Adversarial Robustness Toolbox (ART) kütüphanesine giriş
Uygulama: Hedef görüntü sınıflandırıcıyla ilk keşif
Günün değerlendirmesi ve kaçınma saldırılarına köprü

Günün hedefiBeyaz ve kara kutu kaçınma saldırılarını uygulamak, farklı veri türlerinde çekişmeli örnek üretmek ve savunmaların gerçek dayanıklılığını doğru ölçmek.

Modül 1

Gradyan Tabanlı Kaçınma Saldırıları

Çekişmeli örnek kavramı ve karar sınırının geometrisi
Lp normları ve algılanamaz bozulma bütçesi
FGSM ile tek adımlı saldırı ve sezgisel yorumu
PGD ile yinelemeli saldırı ve hedefli senaryolar
Carlini-Wagner saldırısı ve optimizasyon yaklaşımı
Laboratuvar: ART ile PyTorch modeline PGD saldırısı

Modül 2

Kara Kutu ve Transfer Saldırıları

Yalnızca API erişimiyle sorgu tabanlı saldırılar
Skor tabanlı ve karar tabanlı saldırı farkları
HopSkipJump ile etiket bilgisiyle saldırı üretimi
Vekil model eğitimi ve saldırıların aktarılabilirliği
Sorgu bütçesi, hız sınırı ve tespitten kaçınma
Laboratuvar: Bulut API'si benzeri hedefe kara kutu saldırı

Modül 3

Fiziksel ve Çok Modlu Saldırılar

Çekişmeli yamalar ve nesne algılayıcılara saldırı
Ses tanıma sistemlerine yönelik çekişmeli sinyaller
TextAttack ile metin sınıflandırıcılara saldırılar
Zararlı yazılım sınıflandırıcılarında kaçınma teknikleri
Tablo verisinde anlamlı ve kısıtlı bozulma üretimi
Laboratuvar: TextAttack ile spam filtresini atlatma

Modül 4

Dayanıklılık Savunmaları ve Değerlendirme

Çekişmeli eğitim (adversarial training) ve TRADES
Gradyan maskeleme ve yanıltıcı savunma tuzakları
AutoAttack ile güvenilir dayanıklılık ölçümü
Rastgele yumuşatma ile sertifikalı dayanıklılık
Girdi dönüşümleri ve çekişmeli örnek tespiti sınırları
Laboratuvar: Savunulmuş modelin yeniden değerlendirilmesi

Günün hedefiVeri zehirleme ve arka kapı saldırılarını uygulamak, modelden bilgi sızdıran gizlilik saldırılarını ölçmek ve YZ tedarik zinciri risklerini denetlemek.

Modül 1

Veri Zehirleme ve Arka Kapı Saldırıları

Erişilebilirlik ve hedefli zehirleme saldırı türleri
Tetikleyici tabanlı arka kapılar ve BadNets yaklaşımı
Temiz etiketli zehirleme ve tespit zorluğu
Web ölçekli veri setlerinde zehirleme riski
Spectral signatures ve aktivasyon kümeleme ile tespit
Laboratuvar: Görüntü modeline arka kapı yerleştirme

Modül 2

Gizlilik Saldırıları

Üyelik çıkarımı (membership inference) saldırıları
Model tersine çevirme ve öznitelik çıkarımı
Dil modellerinden eğitim verisi çıkarma teknikleri
KVKK açısından modelden kişisel veri sızıntısı riski
Diferansiyel gizlilik ve Opacus ile DP-SGD eğitimi
Laboratuvar: ART ile üyelik çıkarımı saldırısı

Modül 3

Model Hırsızlığı ve API Kötüye Kullanımı

Sorgularla model çıkarma (model extraction) saldırıları
Fonksiyonel kopya model eğitimi ve sadakat ölçümü
Olasılık çıktılarını kısıtlama ve yuvarlama savunmaları
Hız sınırlama, sorgu örüntüsü analizi ve filigran
Model filigranı ve fikri mülkiyet koruma yaklaşımları
Laboratuvar: Tahmin API'sinden vekil model çıkarma

Modül 4

YZ Tedarik Zinciri Güvenliği

Pickle tabanlı model dosyalarında kod çalıştırma riski
safetensors formatı ve güvenli model yükleme
Hugging Face depolarında typosquatting ve sahte modeller
Laboratuvar: ModelScan ile zararlı model dosyası tespiti
Model imzalama ve CycloneDX ile AI-BOM oluşturma
Günün değerlendirmesi ve LLM kırmızı takımına köprü

Günün hedefiLLM uygulamalarına istem enjeksiyonu ve jailbreak saldırıları yapmak, RAG ve ajan mimarilerindeki riskleri istismar etmek ve testleri otomatikleştirmek.

Modül 1

İstem Enjeksiyonu ve Jailbreak

Doğrudan ve dolaylı istem enjeksiyonu (prompt injection)
Sistem istemi sızdırma ve gizli talimat çıkarma
Rol yapma, kodlama ve çok turlu jailbreak teknikleri
Çok modlu enjeksiyon: görsel ve belge içine gömülü talimat
Zararlı içerik üretimi ve politika ihlali testleri
Laboratuvar: Kurumsal sohbet asistanına enjeksiyon

Modül 2

RAG ve Ajan Sistemlerine Saldırılar

Bilgi erişimi destekli üretimde (RAG) belge zehirleme
Vektör veri tabanında yetkisiz erişim ve veri sızıntısı
Aşırı yetki (excessive agency) ve araç kötüye kullanımı
Model Context Protocol (MCP) sunucularında güven riskleri
Ajanlar üzerinden veri sızdırma ve komut zinciri kurma
Laboratuvar: E-posta okuyan ajana dolaylı enjeksiyon

Modül 3

Otomatik LLM Kırmızı Takım Araçları

Microsoft PyRIT ile saldırı orkestrasyonu
NVIDIA garak ile LLM zafiyet taraması
promptfoo ile kırmızı takım test setleri oluşturma
Saldırgan LLM ve değerlendirici LLM kullanımı
Başarı oranı ölçümü ve regresyon testleri
Laboratuvar: CI hattına otomatik LLM güvenlik testi

Modül 4

LLM Savunmaları ve Koruma Katmanları

Girdi ve çıktı filtreleme, içerik sınıflandırıcıları
Llama Guard ve Prompt Guard ile istem denetimi
NeMo Guardrails ile konuşma kuralları tanımlama
Ajanlarda en az yetki, onay adımı ve kum havuzu
Savunmaların atlatılması: katmanlı savunma gerekliliği
Günün değerlendirmesi ve tatbikat gününe hazırlık

Günün hedefiYZ sistemlerine yönelik saldırıları tespit edip müdahale etmek, mevzuat gerekliliklerini karşılamak ve uçtan uca tatbikatla bulguları raporlamak.

Modül 1

YZ Saldırılarının Tespiti ve Olay Müdahalesi

LLM ve model API'leri için güvenlik günlükleme
Anormal sorgu örüntüleri ve kötüye kullanım sinyalleri
SIEM entegrasyonu ve YZ'ye özgü tespit kuralları
YZ olay müdahale planı ve model geri çekme süreci
Model ve istem sürümlerinde adli inceleme kanıtları
Masaüstü tatbikatı: Zehirlenmiş model olayı yönetimi

Modül 2

Mevzuat, Standartlar ve Yönetişim

EU AI Act: yüksek riskli sistemlerde siber güvenlik şartı
Genel amaçlı YZ modelleri için çekişmeli test beklentisi
ISO/IEC 42001 yönetim sistemi ve güvenlik kontrolleri
NIST AI RMF ve NIST AI 600-1 üretken YZ profili
KVKK ve bilgi güvenliği politikalarıyla uyum
Atölye: Kırmızı takım bulgularının risk kaydına eşlenmesi

Modül 3

Uçtan Uca Kırmızı Takım Tatbikatı

Senaryo: Ajan ve RAG içeren kurumsal YZ platformu
Keşif, tehdit modeli ve saldırı planının hazırlanması
Takımlar halinde model, veri ve istem katmanı saldırıları
Mavi takımın tespit ve müdahale uygulaması
Bulguların kanıtlarla belgelenmesi ve puanlanması
Tatbikat sonrası ortak değerlendirme oturumu

Modül 4

Raporlama, Program Tasarımı ve Kapanış

Teknik ve yönetici düzeyinde kırmızı takım raporu
Bulgu şiddeti, iyileştirme önerisi ve yeniden test
Sürekli YZ kırmızı takım programı ve olgunluk modeli
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar materyallerinin teslimi
İleri öğrenme kaynakları, topluluklar ve kapanış

Eğitim Kazanımları

Tehdit Modelleme — YZ sistemlerinin saldırı yüzeyini MITRE ATLAS ve OWASP çerçeveleriyle haritalayıp önceliklendirebileceksiniz.
Kaçınma Saldırıları — FGSM, PGD ve kara kutu saldırılarıyla modellerin gerçek dayanıklılığını ölçebilecek ve raporlayabileceksiniz.
Zehirleme ve Arka Kapı — Veri zehirleme ve arka kapı saldırılarını uygulayarak eğitim hattındaki bütünlük risklerini tespit edebileceksiniz.
Gizlilik Testleri — Üyelik çıkarımı ve model çıkarma saldırılarıyla modelden bilgi sızıntısını ölçüp önlem önerebileceksiniz.
LLM Kırmızı Takımı — İstem enjeksiyonu, jailbreak ve ajan kötüye kullanımı senaryolarını sistematik biçimde test edebileceksiniz.
Test Otomasyonu — PyRIT, garak ve promptfoo ile tekrarlanabilir LLM güvenlik testlerini geliştirme hattına ekleyebileceksiniz.
Tedarik Zinciri — Model dosyalarını tarayıp güvenli formatlar, imzalama ve AI-BOM ile YZ tedarik zincirini koruyabileceksiniz.
Program ve Uyum — Bulguları EU AI Act ve ISO/IEC 42001 gereklilikleriyle ilişkilendiren sürekli bir test programı kuracaksınız.

Kimler İçin Uygundur?

Kırmızı takım ve sızma testi uzmanları
SOC analistleri
uygulama güvenliği mühendisleri
ML mühendisleri ve yapay zeka sistemlerinin güvenliğinden sorumlu ekipler.

Sıkça Sorulan Sorular

Yapay zeka kırmızı takım eğitimi kimler için uygundur?

Program; kırmızı takım ve sızma testi uzmanları, SOC analistleri, uygulama güvenliği mühendisleri ve yapay zeka sistemlerini geliştiren veya işleten ML mühendisleri için tasarlanmıştır.

Eğitim ne kadar sürer ve hangi konuları kapsar?

Eğitim 5 tam gün ve 20 modülden oluşur. Tehdit modelleme, kaçınma saldırıları, zehirleme ve gizlilik saldırıları, LLM ile ajan kırmızı takımı işlenir; son gün uçtan uca tatbikat yapılır.

Katılım için hangi ön bilgiler gerekiyor?

Python ile betik yazabilme, sinir ağı eğitimi gibi temel makine öğrenmesi kavramları ve sızma testi ya da tehdit modelleme deneyimi beklenir. Laboratuvarlar için Docker veya bulut not defteri erişimi gerekir.

Eğitimde hangi araç ve çerçeveler kullanılıyor?

Adversarial Robustness Toolbox, TextAttack, Opacus, ModelScan, PyRIT, garak, promptfoo, Llama Guard ve NeMo Guardrails kullanılır; testler MITRE ATLAS, OWASP LLM Top 10 ve NIST AI 100-2 ile yapılandırılır.

Laboratuvarlar kurumun kendi sistemleriyle yapılabilir mi, sertifika veriliyor mu?

Standart programda izole hedef sistemler kullanılır; kapalı kurum gruplarında yazılı yetkilendirmeyle kurumun test ortamı senaryoya dahil edilebilir. Programı tamamlayanlar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

YAPAY ZEKA GÜVENLİĞİ: KIRMIZI TAKIM VE ÇEKİŞMELİ YAPAY ZEKA EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

YZ Güvenliğine Giriş ve Tehdit Ortamı

YZ Güvenlik Çerçeveleri ve Taksonomiler

ML Yaşam Döngüsünde Tehdit Modelleme

Kırmızı Takım Metodolojisi ve Laboratuvar

Gradyan Tabanlı Kaçınma Saldırıları

Kara Kutu ve Transfer Saldırıları

Fiziksel ve Çok Modlu Saldırılar

Dayanıklılık Savunmaları ve Değerlendirme

Veri Zehirleme ve Arka Kapı Saldırıları

Gizlilik Saldırıları

Model Hırsızlığı ve API Kötüye Kullanımı

YZ Tedarik Zinciri Güvenliği

İstem Enjeksiyonu ve Jailbreak

RAG ve Ajan Sistemlerine Saldırılar

Otomatik LLM Kırmızı Takım Araçları

LLM Savunmaları ve Koruma Katmanları

YZ Saldırılarının Tespiti ve Olay Müdahalesi

Mevzuat, Standartlar ve Yönetişim

Uçtan Uca Kırmızı Takım Tatbikatı

Raporlama, Program Tasarımı ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi