Technical Tutorials

أنظمة التوليد المعزز بالاسترجاع (RAG) لا تكون أفضل من طبقة استهلاك البيانات الخاصة بها. عند التعامل مع المستندات الممسوحة ضوئياً، غالباً ما يؤدي استخراج النص الخام عبر التعرف الضوئي على الحروف (OCR) إلى إدخال ضوضاء كبيرة وأخطاء في التنسيق وتجزئة هيكلية. بالنسبة للمطورين من المستوى المتوسط إلى المتقدم، يعد بناء خط أنابيب يضمن استخراج نص عالي الدقة أمراً حاسماً للحفاظ على دقة الاسترجاع وتوليد استجابات متماسكة من نماذج اللغات الكبيرة (LLMs).

تحدي المدخلات غير المثالية

نادراً ما توفر المستندات الممسوحة ضوئياً نصاً نظيفاً وجاهزاً رقمياً. تشمل المشكلات الشائعة الصفحات المائلة، والتباين المنخفض، والتخطيطات المعقدة، واللغات المختلطة، وحتى التعليقات التوضيحية المكتوبة بخط اليد. قد تواجه محركات OCR القياسية صعوبة في التعامل مع هذه الغموض، مما يؤدي إلى سيناريوهات "قمامة داخلة، قمامة خارجة" حيث يتلقى نموذج اللغة الكبيرة سياقاً مجزأً أو غير مفهوم. للتخفيف من ذلك، يجب علينا تنفيذ خط أنابيب معالجة مسبقة متعدد المراحل يتجاوز مجرد تحويل الصور إلى نصوص.

المعالجة المسبقة وإزالة الضوضاء

قبل تشغيل OCR، يجب تطبيع الصور لتحسين اكتشاف الميزات. يتضمن ذلك تحويل الصورة إلى تدرج الرمادي، واستخدام العتبة لإزالة ضوضاء الخلفية، وتصحيح الميلان لتصحيح أخطاء الدوران. باستخدام مكتبات مثل OpenCV، يمكننا أتمتة هذه الخطوات لضمان تلقي محرك OCR مدخلاً نظيفاً.

import cv2
import numpy as np

def preprocess_image(image_path):
    # Load image
    img = cv2.imread(image_path)
    
    # Convert to grayscale
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    
    # Apply adaptive thresholding to handle uneven lighting
    thresh = cv2.adaptiveThreshold(
        gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, 
        cv2.THRESH_BINARY, 11, 2
    )
    
    # Remove noise using morphological operations
    kernel = np.ones((2,2), np.uint8)
    cleaned = cv2.dilate(thresh, kernel, iterations=2)
    cleaned = cv2.erode(cleaned, kernel, iterations=1)
    
    return cleaned

التعامل مع الخط اليدوي والنصوص متعددة اللغات

تحتوي العديد من المستندات المؤسسية على ملاحظات أو توقيعات مكتوبة بخط اليد مختلطة مع النص المطبوع. تواجه نماذج OCR التقليدية، التي غالباً ما تم تدريبها بشكل أساسي على الخطوط المطبوعة، صعوبة في التعامل مع الخط اليدوي. في هذه الحالات، فكر في استخدام نماذج هجينة تجمع بين التعرف على النص المطبوع ونماذج متخصصة للخط اليدوي، أو ضبط نماذج مفتوحة المصدر مثل Tesseract أو PaddleOCR على مجموعات بيانات محددة بالمجال.

بالنسبة للمستندات متعددة اللغات، يعد تحديد اللغة أمراً بالغ الأهمية. يمكنك اكتشاف اللغة الأساسية باستخدام مكتبات مثل langdetect وتكوين لغة محرك OCR وفقاً لذلك. يضمن ذلك تعييناً دقيقاً للأحرف للكتابات غير اللاتينية، مثل الأحرف الصينية واليابانية والكورية (CJK) أو الأحرف السيريلية، والتي غالباً ما يتم تفسيرها بشكل خاطئ بواسطة التكوينات الافتراضية.

المعالجة اللاحقة والتحقق

تشمل المعالجة بعد OCR تنظيف مخرجات النص الخام. يتضمن ذلك إزالة الأحرف الخاصة التي من المرجح أن تمثل ضوضاء بدلاً من المحتوى، وتصحيح أخطاء التعرف الشائعة على OCR (على سبيل المثال، استبدال 'O' بـ '0' بناءً على السياق)، وإعادة هيكلة النص إلى كتل منطقية للتضمين. يمكن أن تكون التعبيرات النمطية (Regular Expressions) قوية هنا:

import re

def clean_text(raw_text):
    # Remove extra whitespace
    cleaned = re.sub(r'\s+', ' ', raw_text)
    # Remove non-alphanumeric characters except punctuation
    cleaned = re.sub(r'[^\w\s.,!?;:\-()]', '', cleaned)
    return cleaned.strip()

الخاتمة

بناء خطوط أنابيب OCR قوية لأنظمة RAG لا يتعلق فقط بتشغيل أداة؛ بل يتطلب نهجاً شاملاً يشمل معالجة الصور المسبقة، واختيار النماذج بذكاء، والمعالجة اللاحقة الدقيقة. من خلال معالجة الضوضاء والخط اليدوي وتباين اللغة بشكل منهجي، يمكن للمطورين تعزيز موثوقية وفائدة تطبيقات الذكاء الاصطناعي القائمة على المستندات بشكل كبير.