Technical Tutorials

في عالم هندسة البيانات وتطوير الواجهات الخلفية، تُعد القدرة على استخراج البيانات من الويب مهارة لا تقدر بثمن. بينما هيمنت بايثون منذ فترة طويلة على مشهد الاستخراج بمكتبات مثل BeautifulSoup وScrapy، يقدم Go (Golang) مزايا مميزة لهذه المهمة المحددة. يجعل نموذج التزامن في Go، والكتابة الثابتة، والأداء المُجمّع منه خياراً ممتازاً لبناء مستخرج بيانات يحتاج إلى التعامل مع عبء عمل عالٍ وزمن استجابة منخفض.

ستأخذك هذه الدليل خطوة بخطوة عبر بناء مستخرج بيانات جاهز للإنتاج باستخدام المكتبة القياسية في Go وإطار العمل الشهير Colly. سنغطي التثبيت، والهيكل الأساسي، والتعامل مع المحتوى الديناميكي، مما يوفر لك أساساً متيناً لمشروع استخراج البيانات القادم.

لماذا تختار Go للاستخراج من الويب؟

قبل الغوص في الكود، من الضروري فهم سبب إهمال استخدام Go في هذا المجال رغم قوته. على عكس اللغات المفسرة، تكون ثنائيات Go ذاتية الاحتواء وتعمل بأقل قدر من الحمل الإضافي. علاوة على ذلك، تسمح خيوط Goroutines في Go بإجراء عمليات استخراج متوازية بشكل هائل دون تعقيد إدارة الخيوط يدوياً. هذا يجعل Go مثالياً للحالات التي تحتاج فيها إلى استخراج آلاف الصفحات بسرعة دون استهلاك موارد ذاكرة أو وحدة معالجة مركزية مفرطة.

إعداد البيئة

للبدء، تأكد من تثبيت Go على نظامك. يمكنك التحقق من التثبيت عن طريق تشغيل go version في طرفية الأوامر (Terminal). بعد ذلك، قم بتهيئة وحدة Go جديدة لمشروعك:

mkdir go-scraper
cd go-scraper
go mod init go-scraper

في هذا المثال، سنستخدم إطار العمل Colly. يُعد Colly إطار عمل سريع جداً وأنيق للاستخراج في Golang، ويقدم واجهة برمجة تطبيقات نظمة تجريد الكثير من تعقيدات HTTP. قم بتثبيته باستخدام الأمر التالي:

go get -u github.com/gocolly/colly/v2

كتابة المستخرج

لنقم بإنشاء مستخرج بسيط يستخرج العنوان وURL لجميع الروابط في صفحة ويب. أنشئ ملفاً باسم main.go وأدرج الكود التالي:

package main

import (
    "fmt"
    "github.com/gocolly/colly/v2"
)

func main() {
    // Instantiate default collector
    c := colly.NewCollector(
        colly.AllowedDomains("example.com"),
        colly.UserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64)"),
    )

    // On every a element which has href attribute call callback
    c.OnHTML("a[href]", func(e *colly.HTMLElement) {
        link := e.Attr("href")
        // Print link
        fmt.Printf("Link found: %q -> %s\n", e.Text, link)
    })

    // On every link text call callback
    c.OnHTML("title", func(e *colly.HTMLElement) {
        fmt.Printf("Page Title: %s\n", e.Text)
    })

    // Start scraping on example domain
    c.Visit("https://example.com")
}

في هذا الجزء من الكود، نحدد جامعاً (collector) بقيود محددة. يضمن خيار AllowedDomains أن يقوم المستخرج بزيارة النطاق المحدد فقط، مما يمنع الزحف العرضي إلى المواقع الخارجية. يُعد رأس UserAgent حاسماً؛ فكثير من المواقع تحظر الطلبات التي لا تحاكي متصفحاً قياسياً. من خلال تعيين وكيل مستخدم، نزيد من احتمالية نجاح الطلبات.

التعامل مع التزامن وتحديد المعدل

تُعد إحدى أقوى ميزات مستخرج البيانات المبنية على Go هي التزامن. ومع ذلك، فإن إطلاق آلاف الطلبات بشكل أعمى قد يؤدي إلى حظر عناوين IP أو إغراق الخوادم. يوفر Colly طريقة بسيطة لإدارة ذلك باستخدام إعداد Parallelism ومحددات المعدل المدمجة.

إليك كيفية تكوين مستخرج متوازي مع تأخير:

c.SetParallelism(10) // Run 10 concurrent requests
c.Limit(&colly.LimitRule{
    DomainGlob:  "example.com/*",
    Delay:       1 * time.Second,
    RandomDelay: 500 * time.Millisecond,
})

يتيح لك هذا التكوين الاستخراج بكفاءة مع الحفاظ على الاحترام للخادم المستهدف. يساعد التأخير العشوائي في تجنب الكشف بواسطة أنظمة حماية الروبوتات الآلية.

الخاتمة

إن بناء مستخرج بيانات ويب في Go ليس ممكناً فحسب، بل أيضاً مفيد للغاية للتطبيقات الحساسة للأداء. من خلال الاستفادة من المكتبة القياسية في Go وإطارات عمل مثل Colly، يمكنك بناء أدوات استخراج بيانات قوية وقابلة للتوسع وفعالة. سواء كنت تجمع الأخبار، أو تراقب الأسعار، أو تجمع بيانات البحث، يوفر Go الأدوات اللازمة للقيام بذلك بموثوقية.

عند توسيع نطاق المستخرج الخاص بك، فكر في تنفيذ معالجة الأخطاء، وآليات التخزين المؤقت، وتكامل المتصفح الخالي من الواجهة (Headless) للمواقع الثقيلة باستخدام JavaScript. تُعد الأساسيات التي تم وضعها هنا نقطة انطلاق لمعماريات استخراج أكثر تعقيداً. سعيدة بالبرمجة!