Veri Ön İşleme : Veri Analitiği için Temel Adım

Veri analitiği, günümüzde iş dünyasında büyük önem kazanan bir disiplindir. Ancak, veri analitiği sonuçlarının doğruluğu ve güvenilirliği, veri ön işleme adı verilen temel bir aşamaya bağlıdır. Veri Ön İşleme, ham veri kümesinin temizlenmesi, dönüştürülmesi ve düzenlenmesi sürecidir. Bu yazıda, veri ön işleme sürecinin neden önemli olduğunu ve temel adımlarını keşfedeceğiz.

Veri Ön İşleme Nedir?

Veri ön işleme, bir veri kümesinin analiz edilebilir hale getirilmesi için uygulanan bir dizi adımdır. Ham veri, genellikle karmaşık, eksik veya hatalı olabilir. Bu nedenle, veri ön işleme, ham veri üzerinde bazı dönüşümler yaparak, veri analitiği için daha uygun hale getirir.

Veri Ön İşleme Neden Önemlidir?

1. Veri Kalitesini İyileştirme: Veri ön işleme, veri kalitesini iyileştirme amacı güder. Ham veri setleri, hatalı veya eksik veriler içerebilir. Veri ön işleme adımları sayesinde bu hatalar tespit edilir ve düzeltilir, eksik veriler tamamlanır ve veri seti tutarlı hale getirilir.
2. Veri Analizi Performansını Artırma: Veri ön işleme, veri analizi sürecini hızlandırabilir. Ham veri kümesi üzerinde yapılan bazı dönüşümler, analiz algoritmalarının daha verimli çalışmasını sağlar. Örneğin, gereksiz veya tekrarlayan verilerin kaldırılması, analiz süresini kısaltabilir.
3. Doğruluk ve Güvenilirlik Sağlama: Veri ön işleme, sonuçların doğruluğunu ve güvenilirliğini artırır. Eksik veya hatalı veriler, yanlış sonuçlara yol açabilir. Veri ön işleme adımları sayesinde bu tür hatalar en aza indirgenir ve analiz sonuçlarına güvenilirlik kazandırılır.

Veri Ön İşleme Adımları:

Veri Temizleme

Veri temizleme, ham veri kümesindeki hatalı, eksik veya tutarsız verilerin tespit edilip düzeltilmesini içerir. Bu adımda, verileri kontrol etmek için filtreleme, doldurma veya silme gibi işlemler yapılır.

import pandas as pd

# Veri kümesini yükleme
veri = pd.read_csv(‘veri.csv’)

# Eksik değerleri kontrol etme
eksik_degerler = veri.isnull().sum()

# Eksik değerleri doldurma veya silme
veri_duzeltilmis = veri.dropna() # Eksik değerleri içeren satırları silme
# veya
veri_duzeltilmis = veri.fillna(0) # Eksik değerleri 0 ile doldurma

# Aykırı değerleri kontrol etme ve işleme
aykirilar = veri_duzeltilmis[veri_duzeltilmis[‘Degisken’] > 100] # Örnek bir aykırı değer kontrolü
veri_duzeltilmis = veri_duzeltilmis[veri_duzeltilmis[‘Degisken’] <= 100] # Aykırı değerleri kaldırma

# Diğer temizleme işlemleri (veri türü dönüşümü, yazım hatalarını düzeltme, vb.) yapılabilir

Veri Dönüştürme

Veri dönüştürme adımı, veri kümesini analiz için daha uygun hale getirmek için yapılan dönüşümleri içerir. Örneğin, sayısal olmayan verilerin sayısal forma dönüştürülmesi veya ölçeklendirme işlemleri bu adımda gerçekleştirilir. Bu dönüşümler, veri analitiği algoritmalarının uygulanabilmesi için gereklidir.

# Kategorik verileri sayısal forma dönüştürme
from sklearn.preprocessing import LabelEncoder

label_encoder = LabelEncoder()
veri_duzeltilmis[‘Kategori’] = label_encoder.fit_transform(veri_duzeltilmis[‘Kategori’])

# Sayısal değerleri ölçeklendirme
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
veri_duzeltilmis[‘Sayisal_Degisken’] = scaler.fit_transform(veri_duzeltilmis[[‘Sayisal_Degisken’]])

Veri Entegrasyonu

Veri entegrasyonu, farklı kaynaklardan elde edilen verilerin birleştirilmesi adımıdır. Bu adımda, veri setleri arasında ortak birleştirici alanlar kullanılarak veriler birleştirilir. Bu, daha kapsamlı ve bütünsel bir veri kümesi elde etmek için önemlidir.

# Farklı veri kaynaklarından veri birleştirme
veri1 = pd.read_csv(‘veri1.csv’)
veri2 = pd.read_csv(‘veri2.csv’)

birlesik_veri = pd.merge(veri1, veri2, on=’Ortak_Sutun’, how=’inner’) # Ortak sütuna göre iç birleştirme

Veri Azaltma

Veri azaltma, büyük veri setlerinin boyutunu ve karmaşıklığını azaltmayı hedefler. Bu adımda, gereksiz veya tekrarlayan verilerin kaldırılması veya özellik seçimi yöntemleriyle veri setinin boyutunun azaltılması sağlanır. Bu, analiz süresini kısaltır ve gereksiz karmaşıklığı önler.

# Özellik seçimi
from sklearn.feature_selection import SelectKBest, f_regression

selector = SelectKBest(score_func=f_regression, k=10) # İlk 10 önemli özelliği seçme
veri_azaltilmis = selector.fit_transform(veri_duzeltilmis.drop(‘Hedef_Sutun’, axis=1), veri_duzeltilmis[‘Hedef_Sutun’])

# Boyut indirgeme (PCA)
from sklearn.decomposition import PCA

pca = PCA(n_components=2) # İki bileşenle boyut indirgeme
veri_azaltilmis = pca.fit_transform(veri_duzeltilmis.drop(‘Hedef_Sutun’, axis=1))

Veri Normalizasyonu

Veri normalizasyonu, veri setindeki özelliklerin ölçeklendirilmesini ve normalize edilmesini içerir. Farklı özellikler arasında büyük ölçek farklılıkları varsa, analiz sonuçları yanıltıcı olabilir. Bu nedenle, verilerin belirli bir aralığa veya dağılıma göre normalleştirilmesi önemlidir.

# Min-Max Normalizasyonu
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
veri_normalizasyon = scaler.fit_transform(veri_azaltilmis)

Veri Örnekleme

Veri örnekleme, büyük veri setlerinden temsili bir örneklem seçmeyi içerir. Bu, analiz yapılırken zaman ve kaynak tasarrufu sağlar. Örnekleme yöntemleri, rastgele örnekleme, küme örnekleme veya stratifiye örnekleme gibi çeşitli şekillerde uygulanabilir.

# Rastgele örnekleme
ornekleme = veri_duzeltilmis.sample(n=100, random_state=42) # 100 örnekleme

# Küme örnekleme
from sklearn.cluster import KMeans

kmeans = KMeans(n_clusters=5, random_state=42)
kume_etiketleri = kmeans.fit_predict(veri_duzeltilmis.drop(‘Hedef_Sutun’, axis=1))

# Stratifiye örnekleme
from sklearn.model_selection import train_test_split

ornek_veri, _, ornek_hedef, _ = train_test_split(veri_duzeltilmis.drop(‘Hedef_Sutun’, axis=1), veri_duzeltilmis[‘Hedef_Sutun’], test_size=0.2, stratify=veri_duzeltilmis[‘Hedef_Sutun’], random_state=42)

Veri ön işleme, veri analitiği sürecinde önemli bir adımdır ve veri setinin doğruluğunu, güvenilirliğini ve analiz performansını etkiler. Bu yazıda, veri ön işleme sürecinin neden önemli olduğunu ve temel adımlarını Python kodlarıyla inceledik. Veri ön işleme adımlarının doğru bir şekilde uygulanması, analiz sonuçlarının güvenilirliğini ve kalitesini artırır ve işletmelere değerli iç görüler sağlar. Unutulmamalıdır ki her veri seti kendine özgü özellikler içerir ve veri ön işleme adımları veri seti özelinde yapılmalıdır.