Technical Tutorials

مع توسع إنترنت الأشياء، ينفجر حجم البيانات التي تولدها المستشعرات عالية التردد. يمكن لروبوت تصنيع واحد أو مركبة ذاتية القيادة واحدة إنتاج عشرات الآلاف من نقاط البيانات في الثانية. بالنسبة لمهندسي قواعد البيانات، يتحول التحدي من مجرد سعة التخزين إلى الكفاءة المعمارية لاستيعاب وضغط هذه التدفقات الضخمة دون تكبد تأخير أو تكلفة باهظة. تواجه قواعد البيانات العلائقية التقليدية صعوبة في الطبيعة كثيفة الكتابة والقابلة للإضافة فقط لتطبيقات التيليمتري الخاصة بإنترنت الأشياء. يستكشف هذا المقال الاستراتيجيات الحاسمة لتحسين استيعاب وضغط بيانات السلاسل الزمنية لبناء خطوط أنابيب بيانات قابلة للتطوير وعالية الأداء.

فهم تحدي الاستيعاب عالي الحجم

العقبة الرئيسية في هندسة بيانات إنترنت الأشياء هي معدل الكتابة (Write Throughput). غالبًا ما ترسل المستشعرات عالية التردد البيانات في دفعات، مما يربك محركات قواعد البيانات القياسية. للتعامل مع ذلك، يجب أن يفصل طبقة الاستيعاب بين وصول البيانات والحفظ الفوري. يتضمن النمط الشائع استخدام وسيط رسائل عالي الإنتاجية مثل Apache Kafka أو Redpanda كوسيط تخزين مؤقت. يمتص هذا الارتفاع المفاجئ في حركة المرور ويسمح لقاعدة البيانات باستهلاك البيانات بمعدل ثابت ومُحسّن.

علاوة على ذلك، فإن هيكل الحزمة الواردة مهم للغاية. تعتبر حزم JSON الخام غير فعالة لبيانات السلاسل الزمنية بسبب تكرارها. يجب على المهندسين التحول إلى البروتوكولات الثنائية مثل Protocol Buffers أو Apache Avro، والتي تقلل بشكل كبير من الحمل على الشبكة ووقت المعالجة قبل حتى وصول البيانات إلى قاعدة البيانات.

استراتيجيات الضغط لبيانات السلاسل الزمنية

بمجرد استيعاب البيانات، تصبح كفاءة التخزين هي المقياس الحاسم التالي. تظهر بيانات السلاسل الزمنية درجة عالية من التكرار؛ فمستشعر درجة الحرارة في بيئة خاضعة للتحكم نادرًا ما يتغير قيمته بأكثر من جزء من الدرجة بين العينات. يجعل هذا التنبؤ من هذه البيانات مثالية لخوارزميات الضغط المتخصصة.

طرق الضغط القياسية مثل GZIP أو ZLIB غير فعالة لبيانات السلاسل الزمنية لأنها تعامل البيانات كتيار بايت مسطح. بدلاً من ذلك، تستخدم قواعد البيانات الموجهة نحو الأعمدة مخططات ترميز مصممة خصيصًا للبيانات الزمنية:

ترميز فرق الفرق (Delta-of-Delta Encoding): بدلاً من تخزين الطابع الزمني $t$، يتم تخزين الفرق بين $t$ والطابع الزمني السابق. يتم تكرار ذلك أيضًا لعمود القيمة. تكون الفروقات الناتجة أرقامًا أصغر بكثير، وغالبًا ما تتسع لبايت واحد.
ترميز القاموس (Dictionary Encoding): للبيانات الفئوية (مثل معرفات الأجهزة أو أعلام الحالة)، يتم استبدال النصوص بمعرفات عددية، مما يقلل المساحة بشكل كبير.
ترميز طول التشغيل (RLE - Run-Length Encoding): إذا أبلغ مستشعر عن نفس القيمة بالضبط بشكل متكرر، فإن RLE يخزن القيمة وعدد مرات التكرار.

مثال على التنفيذ: ضغط مخصص للفرق

قبل إرسال البيانات إلى قاعدة البيانات، يمكن لخطوة ما قبل المعالجة تطبيق ترميز فرق الفرق. يوضح مثال بايثون التالي كيفية تحويل الطوابع الزمنية والقيم الخام إلى تنسيق مضغوط:

def encode_delta_delta(timestamps, values):
    encoded_timestamps = []
    encoded_values = []
    
    prev_ts = 0
    prev_val = 0
    
    for i, (ts, val) in enumerate(zip(timestamps, values)):
        if i == 0:
            encoded_timestamps.append(ts)
            encoded_values.append(val)
        else:
            ts_delta = ts - prev_ts
            val_delta = val - prev_val
            encoded_timestamps.append(ts_delta)
            encoded_values.append(val_delta)
            
        prev_ts = ts
        prev_val = val
        
    return encoded_timestamps, encoded_values

# مثال على الاستخدام مع بيانات إنترنت الأشياء المحاكاة
data = [(1678886400, 22.5), (1678886401, 22.6), (1678886402, 22.6)]
ts_enc, val_enc = encode_delta_delta(*data)
print(f"Original: {data}")
print(f"Compressed: Timestamps={ts_enc}, Values={val_enc}")

يقلل هذا التحول البسيط من عرض البت المطلوب للتخزين، مما يسمح بتعبئة أكثر كثافة في محرك التخزين الأساسي. عند اقترانه بتنسيق تخزين مثل Parquet أو التنسيق الأصلي لـ ClickHouse، يمكن أن يتجاوز تقليل تكاليف التخزين 10 أضعاف مقارنة بالبيانات غير المضغوطة.

موازنة الدقة والدقة الزمنية

لا يحتاج كل تحليل إلى كل جزء من الألف من الثانية. بينما تكون البيانات عالية الدقة ضرورية لتصحيح الأخطاء والتنبيهات في الوقت الفعلي، فإن تحليل الاتجاهات طويلة الأجل يستفيد غالبًا من البيانات التي تم تقليل دقتها. يجب أن يدعم البنية القوية استعلامات "السفر عبر الزمن" بدقة كاملة مع الحفاظ على جداول مجمعة مسبقًا (مثل المتوسطات لمدة دقيقة أو ساعة) للوحة المعلومات. يُعرف هذا النهج بتقسيم البيانات، حيث يحافظ على التخزين الساخن سريعًا والتخزين البارد رخيصًا.

الخاتمة

إن تحسين استيعاب وضغط بيانات السلاسل الزمنية ليس إصلاحًا لمرة واحدة، بل هو تطور معماري مستمر. من خلال اعتماد البروتوكولات الثنائية، والاستفادة من وسطاء الرسائل للحفظ المؤقت، وتطبيق خوارزميات الترميز المتخصصة مثل ترميز فرق الفرق، يمكن لمهندسي قواعد البيانات بناء أنظمة تتوسع بسهولة مع متطلبات مشهد إنترنت الأشياء الحديث. النتيجة هي نظام يحافظ على الدقة التاريخية مع الحفاظ على الأداء المطلوب لاتخاذ القرارات في الوقت الفعلي.