Doğal Dil İşleme: İleri Teknikler Eğitimi

Eğitim Hakkında

Bu eğitim, temel doğal dil işleme bilgisine sahip teknik ekiplerin Türkçe ve çok dilli metinlerde ileri düzey NLP görevlerini üretim kalitesinde çözmesi için tasarlanmış uygulamalı bir programdır. Katılımcılar alt kelime tokenizasyonu, varlık ve ilişki çıkarımı, anlamsal arama, az örnekli sınıflandırma, değerlendirme ve model verimliliği tekniklerini gerçek veriyle uygular.

Neden Bu Eğitim?

Türkçeye Özgü Çözümler. Eklemeli yapı, morfolojik zenginlik ve kısıtlı etiketli veri gibi Türkçe NLP'nin gerçek zorluklarını ele alın.

Görev Odaklı Derinlik. Varlık ve ilişki çıkarımından anlamsal aramaya kadar kurumlarda en çok ihtiyaç duyulan görevleri derinlemesine çözün.

Üretim Kalitesi. Hata analizi, dayanıklılık testi, damıtma ve niceleme ile doğru, hızlı ve sürdürülebilir NLP hatları kurun.

“Metin, kurumların en zengin ama en az kullanılan veri kaynağıdır; doğru tekniklerle her belge ölçülebilir bir içgörüye dönüşür.”

Ön Koşullar

Python ve pandas — Python ile veri işleme, fonksiyon ve sınıf yazma, pandas ile metin verisi hazırlama.
Temel NLP Bilgisi — Tokenizasyon, TF-IDF, kelime gömmeleri ve metin sınıflandırma kavramlarına aşinalık.
Transformer Deneyimi — Hugging Face Transformers ile hazır bir modeli yükleyip çıkarım yapmış olmak.
GPU'lu Ortam — Python 3, Jupyter ve paket kurulum yetkisi olan bilgisayar veya GPU destekli bulut not defteri.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiTürkçenin morfolojik yapısına uygun tokenizasyon ve temsil stratejilerini seçmek, bağlamsal gömmeleri kullanmak ve varlık tanıma modellerini eğitip değerlendirmek.

Modül 1

Türkçe Metin Ön İşleme ve Morfoloji

Eklemeli dillerde sözcük seyrekliği ve kök-ek yapısı
Unicode normalizasyonu, büyük-küçük harf ve İ/ı sorunu
Zemberek ve Stanza ile morfolojik analiz ve kökleme
Cümle bölme, yazım hatası ve gürültülü metin temizliği
Sosyal medya ve çağrı merkezi metinlerine özgü sorunlar
Laboratuvar: Türkçe müşteri yorumlarının ön işlenmesi

Modül 2

Alt Kelime Tokenizasyonu ve Temsiller

BPE, WordPiece ve Unigram tokenizasyon algoritmaları
SentencePiece ile dile özgü tokenizer eğitimi
Türkçede token verimliliği ve dizi uzunluğu etkisi
Statik gömmelerden bağlamsal temsillere geçiş
BERTurk ve XLM-RoBERTa gibi Türkçe destekli kodlayıcılar
Laboratuvar: Tokenizer karşılaştırması ve token analizi

Modül 3

Adlandırılmış Varlık Tanıma (NER)

BIO etiketleme şeması ve iç içe varlık problemi
Koşullu rastgele alanlar (CRF) ile klasik yaklaşım
Transformer ile token sınıflandırma ve alt kelime hizalama
seqeval ile varlık düzeyinde kesinlik ve duyarlılık
Kurum, mevzuat ve ürün adları için özel varlık tipleri
Laboratuvar: BERTurk tabanlı Türkçe NER modeli eğitimi

Modül 4

Hata Analizi ve Etiketleme Stratejisi

Karışıklık analizi: sınır hataları ve tip karışıklıkları
Label Studio ve Argilla ile etiketleme süreçleri
Etiketleyiciler arası uyum ve etiketleme kılavuzu
Aktif öğrenme ile etiketleme maliyetini düşürme
Laboratuvar: NER hatalarının kategorize edilmesi
Günün değerlendirmesi ve bilgi çıkarımı gününe köprü

Günün hedefiİlişki ve olay çıkarımıyla metni yapılandırılmış veriye dönüştürmek, az etiketli sınıflandırma yöntemlerini uygulamak ve cümle gömmeleriyle anlamsal arama kurmak.

Modül 1

İlişki ve Olay Çıkarımı

Varlıklar arası ilişki çıkarımı görev tanımları
Varlık işaretleyicili transformer tabanlı ilişki modelleri
Olay çıkarımı: tetikleyici, argüman ve zaman bilgisi
Varlık bağlama ve bilgi tabanıyla eşleştirme
Büyük dil modelleriyle şema tabanlı yapılandırılmış çıktı
Laboratuvar: Sözleşme metninden taraf ve tarih çıkarımı

Modül 2

İleri Metin Sınıflandırma

Çok etiketli sınıflandırma ve eşik optimizasyonu
Hiyerarşik kategori yapıları ve dengesiz sınıflar
Uzun belgeler için parçalama ve toplama stratejileri
Sıfır örnekli sınıflandırma: NLI tabanlı yaklaşım
SetFit ile az sayıda örnekle sınıflandırıcı eğitimi
Laboratuvar: Şikayet metinlerinin çok etiketli sınıflanması

Modül 3

Cümle Gömmeleri ve Anlamsal Arama

Çift kodlayıcı ve çapraz kodlayıcı mimarileri
sentence-transformers ile çok dilli gömme modelleri
Kontrastif öğrenme ile alana özgü gömme ince ayarı
FAISS ile yaklaşık en yakın komşu araması
Hibrit arama: BM25 ile yoğun vektör aramasının birleşimi
Laboratuvar: Mevzuat metinlerinde anlamsal arama

Modül 4

Konu Modelleme ve Metin Kümeleme

LDA'dan gömme tabanlı konu modellemeye geçiş
BERTopic: UMAP, HDBSCAN ve c-TF-IDF bileşenleri
Konu tutarlılığı ve insan değerlendirmesi
Zaman içinde konu değişiminin izlenmesi
Laboratuvar: Müşteri geri bildirimlerinde konu keşfi
Günün özeti ve değerlendirme ile üretim gününe hazırlık

Günün hedefiNLP modellerini dayanıklılık ve yanlılık açısından sınamak, damıtma ve niceleme ile hızlandırmak, üretim hattını kurgulamak ve uçtan uca projeyi sunmak.

Modül 1

Güvenilir Değerlendirme ve Dayanıklılık

Test kümesi tasarımı: dağılım dışı ve zor örnekler
CheckList yaklaşımıyla davranışsal test senaryoları
Yazım hatası, ek değişimi ve lehçe dayanıklılığı
Cinsiyet, bölge ve grup yanlılığının ölçülmesi
Model belirsizliği ve olasılık kalibrasyonu
Laboratuvar: Sınıflandırıcı için davranışsal test paketi

Modül 2

Veri Artırma ve Zayıf Denetim

Geri çeviri, eş anlamlı değişim ve maskeli dil artırımı
Büyük dil modelleriyle sentetik eğitim verisi üretimi
Sentetik verinin kalite kontrolü ve sızıntı riski
Kural ve sözlük tabanlı zayıf etiketleme fonksiyonları
Kodlayıcı modeller ile LLM çözümlerinin maliyet karşılaştırması
Laboratuvar: Sentetik veriyle NER performansı artırma

Modül 3

Model Verimliliği ve Servisleme

Bilgi damıtma ile küçük ve hızlı öğrenci modeller
ONNX Runtime ile dışa aktarım ve çıkarım hızlandırma
Dinamik niceleme ile bellek ve gecikme azaltımı
FastAPI ile toplu ve gerçek zamanlı NLP servisi
KVKK kapsamında kişisel veri maskeleme adımları
Demo: Damıtılmış modelin gecikme karşılaştırması

Modül 4

Uçtan Uca NLP Projesi ve Kapanış

Grup projesi: veri, model, değerlendirme ve servis tasarımı
Proje sunumları ve hata analizi geri bildirimleri
Kurumsal metin analitiği yol haritası çalışması
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar kodlarının teslimi
İleri öğrenme kaynakları ve kapanış oturumu

Eğitim Kazanımları

Türkçe Metin İşleme — Türkçenin morfolojik yapısına uygun ön işleme ve tokenizasyon stratejilerini bilinçli biçimde seçebileceksiniz.
Varlık Tanıma — Kuruma özgü varlık tipleri için transformer tabanlı NER modelleri eğitip varlık düzeyinde değerlendirebileceksiniz.
Bilgi Çıkarımı — Sözleşme, rapor ve yazışmalardan ilişki ve olay bilgisini yapılandırılmış veriye dönüştürebileceksiniz.
Az Veriyle Sınıflama — SetFit ve sıfır örnekli yöntemlerle kısıtlı etiketli veride güçlü metin sınıflandırıcıları kurabileceksiniz.
Anlamsal Arama — Cümle gömmeleri, FAISS ve hibrit arama ile anlam temelli belge arama çözümleri geliştirebileceksiniz.
Dayanıklılık Testi — Davranışsal testler ve yanlılık ölçümleriyle NLP modellerinin sahadaki güvenilirliğini sınayabileceksiniz.
Model Verimliliği — Damıtma, ONNX dışa aktarımı ve niceleme ile modelleri daha hızlı ve düşük maliyetli hale getirebileceksiniz.
Üretim Hattı — Kişisel veri maskelemeyi de içeren, izlenebilir ve servislenebilir uçtan uca bir NLP hattı tasarlayacaksınız.

Kimler İçin Uygundur?

NLP ve makine öğrenmesi mühendisleri
veri bilimciler
metin analitiği uzmanları ile belge
müşteri iletişimi ve mevzuat metni işleyen kurumların teknik ekipleri.

Sıkça Sorulan Sorular

Doğal Dil İşleme: İleri Teknikler Eğitimi kimler için uygundur?

Program; temel NLP bilgisine sahip makine öğrenmesi mühendisleri, veri bilimciler ve metin analitiği uzmanları ile sözleşme, mevzuat, müşteri şikayeti ve yazışma gibi yoğun metin işleyen kurumların teknik ekipleri için tasarlanmıştır.

Eğitim ne kadar sürer ve hangi konuları kapsar?

Eğitim 3 tam gün ve 12 modülden oluşur. İlk gün Türkçe metin temsili ve varlık tanıma, ikinci gün bilgi çıkarımı, sınıflandırma ve anlamsal arama, üçüncü gün değerlendirme, verimlilik, üretim ve proje işlenir.

Bu eğitim büyük dil modelleri eğitimlerinden nasıl ayrışır?

Odak noktası, NER, ilişki çıkarımı, sınıflandırma ve anlamsal arama gibi görevlerin kodlayıcı modellerle doğru, hızlı ve düşük maliyetli çözülmesidir. Büyük dil modelleri veri üretimi ve yapılandırılmış çıkarım için tamamlayıcı araç olarak ele alınır.

Katılım için hangi ön koşullar var?

Python ve pandas ile çalışabilmek, tokenizasyon ve kelime gömmeleri gibi temel NLP kavramlarını bilmek ve Hugging Face Transformers ile hazır bir modeli kullanmış olmak beklenir. GPU destekli bir not defteri ortamı önerilir.

Hangi araçlar kullanılıyor ve sertifika veriliyor mu?

Hugging Face Transformers, sentence-transformers, SetFit, BERTopic, Zemberek, Stanza, FAISS, Label Studio, ONNX Runtime ve FastAPI kullanılır. Programı tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DOĞAL DİL İŞLEME: İLERİ TEKNİKLER EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Türkçe Metin Ön İşleme ve Morfoloji

Alt Kelime Tokenizasyonu ve Temsiller

Adlandırılmış Varlık Tanıma (NER)

Hata Analizi ve Etiketleme Stratejisi

İlişki ve Olay Çıkarımı

İleri Metin Sınıflandırma

Cümle Gömmeleri ve Anlamsal Arama

Konu Modelleme ve Metin Kümeleme

Güvenilir Değerlendirme ve Dayanıklılık

Veri Artırma ve Zayıf Denetim

Model Verimliliği ve Servisleme

Uçtan Uca NLP Projesi ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi