Technical Tutorials

شهدت هندسة البيانات تطوراً كبيراً خلال العقد الماضي. انتقلنا من مستودعات البيانات الضخمة إلى البحيرات المرنة، لكن الأخيرة عانت غالباً من نقص الموثوقية وتعقيد إدارة المخططات وعدم القدرة على دعم الكتابة المتزامنة. هنا يأتي دور دلتا ليك. هذه الطبقة التخزينية مفتوحة المصدر تجلب موثوقية معاملات ACID إلى بحيرات البيانات، مما يتيح لك بناء هندسة بحيرة بيانات (Lakehouse) قوية. يستكشف هذا المنشور الآليات الأساسية لدلتا ليك، وكيفية تخطيها للقيود التقليدية، وكيفية تنفيذها بفعالية باستخدام Apache Spark.

ما الذي يجعل دلتا ليك فريدة؟

في جوهرها، دلتا ليك هي إطار تخزين مفتوح المصدر يتيح إنشاء هندسة بحيرة بيانات (Lakehouse). وهي تعمل فوق بحيرة البيانات الخاصة بك (سواء كانت على HDFS أو S3 أو ADLS أو GCS) وتوفر مجموعة من التحسينات، وأهمها تسجيل المعاملات. يتم تسجيل كل تغيير في البيانات في سجل معاملات قائم على JSON يُسمى _delta_log. يضمن هذا السجل أن العمليات تكون ذرية، ومتسقة، ومعزولة، ومتينة (ACID).

بالنسبة للمطورين من المستوى المتوسط، يعد فهم ميزة السفر عبر الزمن (Time Travel) أمراً أساسياً. لأن دلتا ليك تحافظ على سجل لجميع التغييرات، يمكنك استعلام جدولك في أي نقطة زمنية. هذه الميزة لا تقدر بثمن لتصحيح أخطاء البيانات أو تدقيق التغييرات دون الحاجة إلى نظام نسخ احتياطي منفصل.

التنفيذ العملي مع Apache Spark

تتكامل دلتا ليك بسلاسة مع Apache Spark، مما يوفر واجهة برمجة تطبيقات مألوفة لمهندسي البيانات. دعونا نلقي نظرة على مثال عملي لإنشاء جدول دلتا، وكتابة البيانات، والاستفادة من ميزة السفر عبر الزمن.

كتابة وقراءة البيانات

عند الكتابة إلى جدول دلتا، تحدد المسار إلى موقع التخزين الخاص بك. تقوم دلتا تلقائياً بإدارة هيكل الملفات والبيانات الوصفية.

from pyspark.sql import SparkSession

# Initialize Spark session with Delta support
spark = SparkSession.builder \
    .appName("DeltaLakeExample") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

# Write data to a Delta table
df = spark.read.csv("s3://my-bucket/raw_data.csv")
df.write.format("delta").mode("overwrite").save("/path/to/delta/table")

# Read the table
delta_table_df = spark.read.format("delta").load("/path/to/delta/table")
delta_table_df.show()

تنفيذ السفر عبر الزمن

إحدى أقوى الميزات هي القدرة على العودة إلى حالة سابقة. يمكنك القيام بذلك عن طريق رقم الإصدار أو الطابع الزمني. على سبيل المثال، إذا قمت بالكتابة فوق البيانات عن طريق الخطأ، يمكنك استعادتها بسهولة.

# Read data as of a specific version
version_table_df = spark.read.format("delta") \
    .option("versionAsOf", 2) \
    .load("/path/to/delta/table")

# Read data as of a specific timestamp
timestamp_table_df = spark.read.format("delta") \
    .option("timestampAsOf", "2023-10-01") \
    .load("/path/to/delta/table")

إنفاذ المخطط وتطوره

غالباً ما تعاني بحيرات البيانات التقليدية من "انجراف المخطط" (schema drift)، حيث تؤدي التغييرات غير المتسقة في المخطط إلى تعطيل العمليات اللاحقة. تعالج دلتا ليك هذه المشكلة من خلال إنفاذ المخطط بشكل افتراضي. إذا حاولت كتابة بيانات بمخطط لا يتطابق مع تعريف الجدول، ستفشل العملية.

ومع ذلك، تدعم دلتا ليك أيضاً تطور المخطط. إذا كنت بحاجة إلى إضافة أعمدة أو تغيير الأنواع، يمكنك تمكين هذه الميزة صراحةً، مما يضمن إدارة النظام للانتقال بأمان دون إتلاف البيانات الموجودة.

# Enable schema evolution
df.write.format("delta") \
    .option("delta.autoMerge", "true") \
    .mode("append") \
    .save("/path/to/delta/table")

التحسين والتطهير (Vacuuming)

بينما توفر دلتا ليك المتانة، فإنها تنشئ العديد من الملفات الصغيرة بمرور الوقت بسبب كتابات الدُفعات الدقيقة (micro-batch writes). للحفاظ على أداء الاستعلام، يجب عليك استخدام أمر OPTIMIZE، الذي يدمج الملفات الصغيرة في ملفات أكبر وينشئ فهارس Z-Order لتصفية أسرع.

بالإضافة إلى ذلك، نظراً لأن دلتا ليك تحتفظ بنسخ تاريخية من البيانات للسفر عبر الزمن، يمكن أن تتراكم تكاليف التخزين. يعد أمر VACUUM ضروراً لإزالة الملفات التي لم يعد سجل المعاملات يشير إليها. كن حذراً بشأن فترة الاحتفاظ؛ الافتراضي هو 7 أيام، ولكن يمكنك تعديلها بناءً على احتياجات الاسترداد الخاصة بك.

الخاتمة

دلتا ليك ليست مجرد ميزة؛ بل هي تحول نموذجي في كيفية إدارة بحيرات البيانات. من خلال تقديم معاملات ACID، والسفر عبر الزمن، وإدارة المخطط، فإنها تسد الفجوة بين مرونة بحيرات البيانات وموثوقية مستودعات البيانات. بالنسبة لمهندسي البيانات الذين يتطلعون إلى تحديث مجموعتهم التقنية، لم يعد إتقان دلتا ليك خياراً؛ بل أصبح شرطاً أساسياً لبناء خطوط أنابيب بيانات قابلة للتوسع وموثوقة وفعالة.