Yapay Zeka Sistemlerinin Test Edilmesi Eğitimi

Eğitim Hakkında

Bu eğitim, yazılım test ve kalite güvence ekiplerinin makine öğrenmesi modelleri ile büyük dil modeli tabanlı uygulamaları sistematik biçimde test etmesi için tasarlanmış iki günlük uygulamalı bir programdır. Katılımcılar test kahini sorunu, veri ve davranış testleri, adalet ve dayanıklılık kontrolleri, LLM değerlendirmesi, güvenlik testleri ve CI entegrasyonunu örnek sistemler üzerinde uygular.

Neden Bu Eğitim?

Belirsizliğe Uygun Test. Aynı girdiye farklı yanıt verebilen sistemler için beklenen sonuç yerine özellik ve ölçüt tabanlı test tasarlayın.

Uçtan Uca Kapsam. Veriden modele, RAG akışından ajan davranışına kadar yapay zeka sisteminin tüm katmanlarını test kapsamına alın.

Güvenlik ve Uyum. İstem enjeksiyonu, veri sızıntısı ve yanlılık risklerini kırmızı takım testleri ve kanıt kayıtlarıyla yönetin.

“Yapay zekaya duyulan güven iyi niyetle değil, sistematik testlerle toplanan ve her sürümde yeniden üretilen kanıtlarla kazanılır.”

Ön Koşullar

Yazılım Testi — Test tasarım teknikleri, test seviyeleri ve hata yaşam döngüsü konusunda deneyim.
Temel Python — Python betiklerini okuyup çalıştırabilmek ve basit pytest testleri yazabilmek.
Temel ML Kavramları — Eğitim, test verisi ve doğruluk gibi kavramlara genel aşinalık; derin bilgi gerekmez.
Çalışma Ortamı — Python 3 ve VS Code kurulu bilgisayar; LLM laboratuvarları için API erişimi sağlanır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiYapay zeka testinin klasik yazılım testinden farkını anlamak, risk tabanlı test stratejisi kurmak ve veri, model davranışı, adalet ve dayanıklılık testleri yazmak.

Modül 1

Yapay Zeka Testinin Temelleri ve Strateji

Yapay zeka testini farklı kılan: belirsizlik ve test kahini
ISO/IEC 25059 yapay zeka sistemleri kalite modeli
ISO/IEC TR 29119-11 yapay zeka test rehberi
ISTQB CT-AI müfredatının kapsamına genel bakış
Risk tabanlı test stratejisi ve test seviyeleri
Atölye: Kredi skorlama modeli için test stratejisi

Modül 2

Veri Kalitesi ve Veri Testleri

Veri kaynaklı hatalar: eksik, dengesiz, sızıntılı veri
Pandera ile şema ve değer aralığı doğrulaması
Great Expectations ile veri beklentileri
Eğitim ve test kümeleri arasında veri sızıntısı kontrolü
Etiket kalitesi ve etiketleyici tutarlılığı testleri
Laboratuvar: Eğitim veri setine otomatik veri testleri

Modül 3

Model Davranışı ve Metamorfik Testler

Dilim bazlı performans: segmentlerde gizlenen hatalar
Minimum işlevsellik, değişmezlik ve yön testleri
Metamorfik test ile kahinsiz doğrulama
Deepchecks ile model ve veri kontrol paketleri
Model sürümleri arasında regresyon karşılaştırması
Laboratuvar: Metin sınıflandırıcıda davranışsal testler

Modül 4

Adalet, Dayanıklılık ve Açıklanabilirlik

Adalet ölçütleri: demografik eşitlik ve eşitlenmiş olasılıklar
Gürültü, yazım hatası ve uç değerlerle dayanıklılık testi
Saldırgan örnekler (adversarial examples) kavramı
SHAP açıklamalarıyla beklenmeyen karar gerekçesi arama
Laboratuvar: Fairlearn ile gruplar arası performans analizi
Günün değerlendirmesi ve LLM testleri gününe köprü

Günün hedefiLLM, RAG ve ajan uygulamaları için değerlendirme setleri ve ölçütler tasarlamak, kırmızı takım testleri yürütmek ve testleri CI hattına regresyon olarak eklemek.

Modül 1

LLM Çıktılarının Değerlendirilmesi

Değerlendirme seti tasarımı: gerçek, uç ve saldırgan örnekler
Kural tabanlı kontroller: format, uzunluk, yasaklı içerik
Anlamsal benzerlik ve referanslı ölçütler
Hakem olarak LLM (LLM-as-a-judge) ve kalibrasyonu
Belirsizlik: tekrarlı çalıştırma ve istatistiksel yorum
Laboratuvar: Müşteri yanıt asistanı için değerlendirme seti

Modül 2

RAG ve Ajan Uygulamalarının Testi

RAG testi: erişim isabeti ve kaynağa bağlılık
Ragas ve DeepEval ile RAG ölçütleri
Halüsinasyon ve kaynak dışı yanıt tespiti
Ajan testleri: araç çağrısı doğruluğu ve adım izi
Çok turlu konuşma senaryolarının otomasyonu
Laboratuvar: Bilgi asistanında RAG ve ajan testleri

Modül 3

Güvenlik Testleri ve Kırmızı Takım

OWASP Top 10 for LLM Applications risk kategorileri
Doğrudan ve dolaylı istem enjeksiyonu senaryoları
Jailbreak, sistem istemi ve kişisel veri sızıntısı
garak ile otomatik LLM güvenlik açığı taraması
PyRIT ile kırmızı takım senaryoları yürütme
Tatbikat: Örnek asistana karşı kırmızı takım oturumu

Modül 4

Test Otomasyonu, Uyum ve Kapanış

promptfoo ile CI hattında LLM regresyon testleri
Gecikme, maliyet ve yük testleri: Locust ve k6
Test kanıtları: AB Yapay Zeka Yasası ve denetim izi
Atölye: Kurumunuz için yapay zeka test planı taslağı
Eğitim değerlendirmesi, Soru-Cevap ve sertifika takdimi
İleri öğrenme kaynakları ve kapanış oturumu

Eğitim Kazanımları

Test Stratejisi — ISO/IEC 25059 kalite özelliklerine dayanan, risk tabanlı bir yapay zeka test stratejisi hazırlayabileceksiniz.
Veri Testleri — Pandera ve Great Expectations ile şema, dağılım ve veri sızıntısı kontrollerini otomatikleştirebileceksiniz.
Davranışsal Testler — Değişmezlik, yön ve metamorfik testlerle kesin beklenen sonuç olmadan model davranışını doğrulayabileceksiniz.
Adalet ve Dayanıklılık — Fairlearn ve gürültü testleriyle gruplar arası performans farklarını ve kırılgan davranışları ortaya çıkarabileceksiniz.
LLM Değerlendirmesi — Kural tabanlı kontroller ve kalibre edilmiş hakem LLM ile serbest metin çıktılarını ölçülebilir hale getirebileceksiniz.
RAG ve Ajan Testi — Ragas ve DeepEval ile erişim isabetini, kaynağa bağlılığı ve ajan araç çağrılarını test edebileceksiniz.
Kırmızı Takım — garak ve PyRIT ile istem enjeksiyonu, jailbreak ve veri sızıntısı senaryolarını sistematik olarak sınayabileceksiniz.
Test Otomasyonu — promptfoo ve yük testi araçlarıyla yapay zeka testlerini CI hattında sürekli çalışan regresyon paketine dönüştüreceksiniz.

Kimler İçin Uygundur?

Yazılım test ve kalite güvence mühendisleri
test otomasyon uzmanları
makine öğrenmesi mühendisleri
yapay zeka ürün sahipleri ile yazılım kalite yöneticileri.

Sıkça Sorulan Sorular

Yapay Zeka Sistemlerinin Test Edilmesi Eğitimi kimler için uygundur?

Program; yazılım test ve kalite güvence mühendisleri, test otomasyon uzmanları, makine öğrenmesi mühendisleri, yapay zeka ürün sahipleri ve yazılım kalite yöneticileri için tasarlanmıştır.

Eğitim ne kadar sürer ve hangi konuları kapsar?

Eğitim 2 tam gün ve 8 modülden oluşur. İlk gün makine öğrenmesi sistemlerinde veri, davranış, adalet ve dayanıklılık testleri; ikinci gün LLM, RAG ve ajan testleri, kırmızı takım ve test otomasyonu işlenir.

Katılım için veri bilimi bilgisi gerekiyor mu?

Derin veri bilimi bilgisi gerekmez. Yazılım testi deneyimi, temel Python kodunu okuyup çalıştırabilme ve eğitim-test verisi gibi temel makine öğrenmesi kavramlarına aşinalık yeterlidir.

Eğitimde hangi araç ve standartlar ele alınıyor?

pytest, Pandera, Great Expectations, Deepchecks, Fairlearn, SHAP, Ragas, DeepEval, garak, PyRIT, promptfoo, Locust ve k6 kullanılır. ISO/IEC 25059, ISO/IEC TR 29119-11 ve OWASP Top 10 for LLM Applications çerçeveleri işlenir.

Bu eğitim ISTQB CT-AI sertifikasına hazırlık sağlar mı?

Eğitim ISTQB CT-AI müfredatındaki temel konularla örtüşen uygulamalı bir altyapı sunar, ancak resmi sınav hazırlık kursu değildir. Programı tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

YAPAY ZEKA SİSTEMLERİNİN TEST EDİLMESİ EĞİTİMİ