تحليل البيانات باستخدام Pandas و NumPy: دليل شامل للمطورين

أصبح تحليل البيانات قاعدة أساسية في تطوير البرمجيات الحديثة، من الذكاء التجاري إلى تطبيقات التعلم الآلي. توفر بيئية بايثون أدوات قوية لهذا الغرض، مع امتلاك Pandas و NumPy المرتبة في المقدمة. تشكل هذه المكتبات العمود الفقري لسير عمل علوم البيانات، مما يمكّن المطورين من تعديل البيانات وتحليلها وتصورها بكفاءة.

فهم الأساس: NumPy

يُعد NumPy (Python العددي) الأساس للحوسبة العددية في بايثون. يوفر دعماً للقوائم والقوائم متعددة الأبعاد والعمليات الرياضية لتشغيل هذه القوائم بكفاءة.

import numpy as np

# إنشاء القوائم
arr1 = np.array([1, 2, 3, 4, 5])
arr2 = np.array([[1, 2, 3], [4, 5, 6]])

# العمليات الأساسية
sum_arr = np.sum(arr1)
mean_arr = np.mean(arr2, axis=1)
reshaped = arr1.reshape(1, 5)

print(f"Sum: {sum_arr}, Mean: {mean_arr}")

Pandas: الحيوان الأثقل في تحليل البيانات

يُبنى Pandas على قدرات NumPy، مع إضافة هياكل بيانات مصممة خصيصاً لتحليل البيانات. هيكل البيانات الرئيسي هو Series (أحادي البعد) وDataFrame (ثنائي البعد)، والتي توفر طرقاً سهلة للتعامل مع البيانات المنظمة.

import pandas as pd

# إنشاء DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Diana'],
    'age': [25, 30, 35, 28],
    'salary': [50000, 60000, 70000, 55000],
    'department': ['IT', 'HR', 'Finance', 'IT']
}

df = pd.DataFrame(data)
print(df)

# الإحصائيات الأساسية
print(df.describe())
print(df.groupby('department')['salary'].mean())

تنظيف البيانات والتجهيز

نادرًا ما تصل البيانات الحقيقية في حالة مثالية. يبدأ تحليل البيانات الفعال بالتنظيف والتجهيز المناسب. توفر Pandas أدوات قوية للتعامل مع البيانات المفقودة والتكرارات وتحويلات نوع البيانات.

# التعامل مع البيانات المفقودة
df_with_nan = df.copy()
df_with_nan.loc[1, 'age'] = np.nan

# حذف الصفوف ذات القيم المفقودة
cleaned_df = df_with_nan.dropna()

# ملء القيم المفقودة
df_filled = df_with_nan.fillna({'age': df_with_nan['age'].mean()})

# إزالة التكرارات
df_no_duplicates = df.drop_duplicates()

# تحويل نوع البيانات
df['age'] = df['age'].astype('int64')

التعديل المتقدم على البيانات

تقدم Pandas طرقًا متقدمة للتحويل والتصفية. فهم هذه القدرات أمر ضروري لسير عمل تحليل البيانات الفعالة.

# التصفية والعمليات الشرطية
high_earners = df[df['salary'] > 55000]
filtered_df = df[df['age'].between(25, 30)]

# استخدام طريقة query
query_result = df.query('salary > 55000 and age < 35')

# تطبيق الدوال على الأعمدة
df['salary_category'] = df['salary'].apply(lambda x: 'High' if x > 60000 else 'Standard')

# دمج مجموعات البيانات
df2 = pd.DataFrame({
    'name': ['Alice', 'Bob'],
    'bonus': [5000, 7000]
})
merged_df = pd.merge(df, df2, on='name', how='left')

تقنيات تحسين الأداء

عند العمل مع مجموعات بيانات كبيرة، يصبح الأداء أمرًا حيويًا. توفر كل من Pandas و NumPy استراتيجيات تحسين للتعامل مع البيانات الكبيرة بكفاءة.

# العمليات المتجهة (سريعة)
arr = np.random.rand(1000000)
result = arr * 2 + 1  # عملية متجهة

# استخدام eval للتعبيرات المعقدة
df['new_col'] = df.eval('age * salary')

# عمليات groupby فعالة
grouped = df.groupby('department').agg({
    'salary': ['mean', 'sum', 'count'],
    'age': 'mean'
})

# استخدام البيانات الفئوية لتحسين الذاكرة
df['department'] = df['department'].astype('category')

مثال عملي: تحليل بيانات المبيعات

دعنا نضع هذه المفاهيم في التطبيق من خلال مثال شامل يحلل بيانات المبيعات.

import pandas as pd
import numpy as np
from datetime import datetime, timedelta

# إنشاء بيانات مبيعات عينة
dates = pd.date_range('2023-01-01', periods=1000, freq='D')
sales_data = {
    'date': dates,
    'product': np.random.choice(['A', 'B', 'C', 'D'], 1000),
    'sales_amount': np.random.uniform(100, 1000, 1000),
    'region': np.random.choice(['North', 'South', 'East', 'West'], 1000)
}

df_sales = pd.DataFrame(sales_data)

# تنظيف البيانات
df_sales['date'] = pd.to_datetime(df_sales['date'])
df_sales['month'] = df_sales['date'].dt.month
df_sales['quarter'] = df_sales['date'].dt.quarter

# التحليل
monthly_sales = df_sales.groupby('month')['sales_amount'].sum()
product_performance = df_sales.groupby('product')['sales_amount'].agg(['sum', 'mean', 'count'])
regional_analysis = df_sales.groupby(['region', 'product'])['sales_amount'].sum().unstack(fill_value=0)

print("Monthly Sales:")
print(monthly_sales)
print("\nProduct Performance:")
print(product_performance)
print("\nRegional Analysis:")
print(regional_analysis)

الخاتمة

تُشكل Pandas و NumPy الأداة الأساسية لتحليل البيانات في بايثون. بينما يوفر NumPy الأساس العددي مع عمليات مصفوفة فعالة، يضيف Pandas القدرات المتقدمة في تعديل البيانات اللازمة لمهام التحليل في العالم الحقيقي. يمكّن المastery لهذه المكتبات المطورين من تحويل البيانات الخام إلى رؤى ذات معنى، مما يجعلها أصولًا لا غنى عنها في أي مشروع يعتمد على البيانات.

من خلال فهم قدراتها ومتابعة أفضل الممارسات لتحسين الأداء، يمكن للمطورين التعامل مع مجموعات البيانات من أي حجم وتعقيد بثقة. سواء كنت تبني تطبيقات الذكاء التجاري أو تجري أبحاثًا علمية أو تنفذ خطوط أنابيب التعلم الآلي، فإن هذه الأدوات ستكون أساسك لتحليل البيانات الفعال.