Veri Görevleri için Python: Pandas ve Polars ile

Eğitim Hakkında

İki popüler kütüphaneyle veri görevlerini temelden orta düzeye taşıyın.

Eğitim, pandas ile veri yükleme, tip yönetimi, eksik değerler, groupby, merge ve zaman serisi işlemlerini işler; ardından Polars expression API, LazyFrame sorgu planı, predicate/projection pushdown ve streaming ile aynı görevleri çok daha hızlı yapmayı gösterir. Parquet formatı ve benchmark'larla iki kütüphane arasında seçim kriterleri belirlenir.

Süre ve Format

3 Gün. Her gün dört modül; sabah kavram ve demo, öğleden sonra karşılaştırmalı uygulama; son gün veri görevi projesi.

Seviye

Orta Seviye — pandas ve Polars ile veri yükleme, dönüştürme, birleştirme, lazy sorgular ve performans karşılaştırması

Öğrenme Metodu

Her görev önce pandas, sonra Polars ile çözülür; süre ve bellek ölçümleriyle karşılaştırılır.

Neden Bu Eğitim?

🎯İki Araç Bir Bakış

pandas ve Polars arasında göreve göre doğru aracı seçersiniz.

🛠️Hız ve Bellek

Lazy sorgu planı ve Parquet ile büyük dosyaları verimli işlersiniz.

📈Geçiş Kolaylığı

Mevcut pandas kodunuzu Polars ifadelerine dönüştürmeyi öğrenirsiniz.

Anahtar Konular

pandas PolarsPolars eğitimipandas eğitimiLazyFrameParquetPython veri işlemepandas performansveri mühendisliği Python

“Doğru araç, aynı işi bir saatten bir dakikaya indirir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python

Temel Python bilgisi gerekir.

2

Tablo mantığı

Excel veya SQL ile filtre ve toplama deneyimi yardımcı olur.

3

Ortam

pandas, polars, pyarrow ve JupyterLab kurulu olmalıdır.

4

Veri

Orta boyutlu (100 MB+) bir CSV ile çalışmak benchmark'lar için faydalıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı pandas ile veriyi hazırlar ve özetler.

Modül 1

pandas Series ve DataFrame

Series ve DataFrame oluşturma, index ve columns yapısı
read_csv, read_excel, read_json ve read_sql ile veri yükleme (sep, dtype, parse_dates)
head, info, describe, value_counts ve memory_usage ile ilk keşif
loc, iloc, at ve boolean indeksleme ile satır/sütun seçimi
query ve eval ile okunabilir filtre ifadeleri
to_csv, to_parquet ve to_excel ile çıktı üretimi

Modül 2

Veri Temizleme ve Dönüştürme

isna, fillna, dropna ve interpolate ile eksik değer stratejileri
duplicated ve drop_duplicates ile mükerrer kayıt tespiti
astype, to_numeric, to_datetime ve category dtype dönüşümleri
str erişimcisi ile metin temizliği: strip, replace, extract, split
apply, map, assign ve np.where ile türetilmiş sütunlar
IQR ve z-skoru ile aykırı değer tespiti ve winsorize yaklaşımı

Modül 3

groupby, Pivot ve Birleştirme

groupby ile agg, transform ve filter farkları
Named aggregation ve birden fazla fonksiyonla özetleme
pivot_table, crosstab, melt ve stack/unstack ile şekil değiştirme
merge türleri (inner, left, outer), anahtar çakışması ve validate parametresi
concat, join ve MultiIndex ile çok seviyeli indeks yönetimi
rank, cumsum, shift ve rolling ile pencere tabanlı hesaplar

Modül 4

pandas ile Tarih-Zaman Verisi

Timestamp, Timedelta, Period ve DatetimeIndex kavramları
Saat dilimi dönüşümü: tz_localize ve tz_convert
resample ile günlük-haftalık-aylık yeniden örnekleme
rolling, expanding ve ewm ile hareketli ortalamalar
shift, diff ve pct_change ile gecikmeli değişkenler
İş günü takvimi, tatil günleri ve date_range frekans kodları

Günün hedefiKatılımcı Polars ile aynı görevleri çözer ve performansı karşılaştırır.

Modül 1

Polars Temelleri ve Expression API

Polars'ın Arrow tabanlı sütunlu mimarisi ve pandas'tan farkları
pl.DataFrame, pl.Series ve veri tipleri (Int64, Utf8, Categorical, Datetime)
select, with_columns, filter ve pl.col ifadeleriyle dönüşüm
group_by().agg(), over() pencere ifadeleri ve when/then/otherwise
join, concat ve pivot/unpivot ile tablo birleştirme
pandas'tan to_pandas ve from_pandas ile geçiş

Modül 2

Polars LazyFrame ve Sorgu Optimizasyonu

scan_csv ve scan_parquet ile tembel okuma
collect, explain ve sorgu planı okuma (predicate/projection pushdown)
streaming modunda belleğe sığmayan veriyi işleme
Çok çekirdekli paralel çalışma ve thread havuzu davranışı
pandas ve Polars aynı iş yükünde benchmark karşılaştırması
Parquet bölümleme ve sıkıştırma (zstd, snappy) seçimi

Modül 3

pandas Performans ve Bellek

Kategorik ve downcast dtype ile bellek tasarrufu
read_csv chunksize ve usecols ile büyük dosya okuma
Vektörleştirme ile apply döngülerinden kurtulma
Parquet ve Feather formatlarının CSV'ye göre avantajı
pyarrow tabanlı dtype ve string[pyarrow] kullanımı
cProfile ve %timeit ile darboğaz bulma

Modül 4

SQL ve Python ile Veri Çekme

SELECT, WHERE, GROUP BY, HAVING ve JOIN temel sorguları
SQLAlchemy engine ve pandas.read_sql_query
Parametreli sorgu ve güvenli bağlantı bilgisi yönetimi
Büyük sorgu sonuçlarını parça parça (chunksize) çekme
REST API ve JSON verisinden pd.json_normalize ile tabloya dönüştürme
Excel, CSV ve veritabanı kaynaklarını birleştiren analiz hattı

Günün hedefiKatılımcı seçtiği araçla uçtan uca veri hattını tamamlar.

Modül 1

Keşifsel Veri Analizi (EDA) Süreci

Veri sözlüğü, birim ve ölçek tipleri (nominal, ordinal, aralık, oran)
Tek değişkenli dağılım incelemesi: çarpıklık, basıklık, histogram
İki değişkenli ilişkiler: korelasyon matrisi, scatter ve grup karşılaştırmaları
Eksiklik örüntüsü ve veri kalitesi raporu
Hipotez üretimi ve analiz not defterinin yapılandırılması
Jupyter Notebook ve JupyterLab ile tekrar üretilebilir analiz

Modül 2

matplotlib ve seaborn ile Görselleştirme

Figure, Axes ve subplots nesne modeli
Çizgi, çubuk, dağılım ve histogram grafiklerinin uygun kullanım alanları
seaborn ile boxplot, violinplot, heatmap ve pairplot
Eksen etiketi, renk paleti, anotasyon ve stil (style context)
Renk körlüğüne duyarlı palet seçimi ve okunabilirlik kuralları
savefig ile PNG/SVG/PDF çıktısı ve dpi ayarı

Modül 3

NumPy ile Lineer Cebir ve İstatistik

dot, matmul ve @ operatörüyle matris çarpımı
np.linalg ile inv, det, solve, eig ve svd kullanımı
np.mean, median, var, percentile ve corrcoef ile betimsel istatistik
np.where, np.select, np.clip ve np.unique ile koşullu dönüşümler
Rastgele örnekleme, seed yönetimi ve Monte Carlo ile pi tahmini
np.save, np.load ve genfromtxt ile dizilerin dosyaya yazılıp okunması

Modül 4

Bitirme Projesi ve Kod Gözden Geçirme

Gereksinim analizi, kullanıcı hikâyeleri ve proje iskeleti
Katmanlı mimari: veri, servis ve arayüz ayrımı
Birim test, entegrasyon testi ve coverage hedefi
Git dal akışı ve pull request ile kod incelemesi
Dokümantasyon: README, docstring ve Sphinx/mkdocs
Proje sunumu ve iyileştirme planı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

pandas veri yapıları

Series ve DataFrame ile tabular veriyi yükleyip inceleyebilirsiniz

⚙️

Veri temizleme

eksik, hatalı ve tekrarlı veriyi pandas ile güvenle temizleyebilirsiniz

🔍

Tarih-zaman analizi

DatetimeIndex, resample ve rolling ile zaman bazlı veriyi işleyebilirsiniz

📊

Polars ifadeleri

Polars expression API ile hızlı ve okunabilir dönüşümler yazabilirsiniz

🧩

pandas performansı

bellek tüketimini düşürüp büyük dosyaları parça parça işleyebilirsiniz

🚀

Veri kaynaklarına erişim

SQL sorgularını Python içinden çalıştırıp analiz için DataFrame'e alabilirsiniz

🔒

Statik grafikler

matplotlib ve seaborn ile yayına hazır grafikler üretebilirsiniz

📦

NumPy sayısal işlemler

matris işlemleri ve temel istatistik fonksiyonlarını NumPy ile uygulayabilirsiniz

Kimler İçin Uygundur?

Veri analistleri
veri mühendisleri
hız sorunu yaşayan pandas kullanıcıları

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri analistleri, veri mühendisleri ve hız sorunu yaşayan pandas kullanıcıları. Ön bilgi beklentileri için eğitimin ön koşullar bölümüne bakabilirsiniz.

Polars pandas'ın yerini mi alıyor?

Hayır. Eğitim, hangi durumda hangi aracın daha uygun olduğunu benchmark'lar ve olgun ekosistem karşılaştırmasıyla gösterir.

Eğitim temel mi orta mı?

İkisini de kapsar: ilk gün pandas temelleri, sonraki günler Polars ve performans gibi orta düzey konular işlenir.

Eğitim sonunda sertifika verilir mi?

Katılım ve başarı koşullarını yerine getiren katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Eğitim uygulamalı mı ilerliyor?

Her görev önce pandas, sonra Polars ile çözülür; süre ve bellek ölçümleriyle karşılaştırılır. Süre 3 gündür; her gün dört modül işlenir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

VERİ GÖREVLERİ İÇİN PYTHON: PANDAS VE POLARS İLE TEMEL VE ORTA DÜZEY EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

pandas Series ve DataFrame

Veri Temizleme ve Dönüştürme

groupby, Pivot ve Birleştirme

pandas ile Tarih-Zaman Verisi

Polars Temelleri ve Expression API

Polars LazyFrame ve Sorgu Optimizasyonu

pandas Performans ve Bellek

SQL ve Python ile Veri Çekme

Keşifsel Veri Analizi (EDA) Süreci

matplotlib ve seaborn ile Görselleştirme

NumPy ile Lineer Cebir ve İstatistik

Bitirme Projesi ve Kod Gözden Geçirme

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Analyzing Data Using Python: Filtering Data in Pandas Eğitimi

Analyzing Data Using Python: Importing, Exporting, & Analyzing Data With Pandas Eğitimi

API and API Design with Python Eğitimi

Automation Testing for Python Eğitimi

Build and Implement APIs with Python Eğitimi