Technical Tutorials

كانت مشهد نماذج اللغات الكبيرة (LLMs) تهيمن عليه تاريخياً الأعداد الضخمة من المعامل، التي غالباً ما تصل إلى مئات المليارات. بينما تقدم هذه النماذج قدرات مذهلة، إلا أنها تأتي مع عبء كبير من حيث التكلفة الحسابية، وزمن الاستجابة، ومخاوف الخصوصية. هنا يأتي دور سلسلة نماذج Phi التابعة لشركة Microsoft، وتحديداً أحدث نماذج Phi-3، والتي تمثل تحولاً نموذجياً نحو نماذج اللغات الصغيرة (SLMs). يستكشف هذا المنشور كيف يحقق Phi-3 أداءً عالياً باستخدام جزء بسيط من الموارد، مما يجعله مثالياً للنشر في الأجهزة الطرفية، وتطبيقات الهاتف المحمول، والبيئات محدودة الموارد.

الفلسفة الكامنة وراء Phi-3: الجودة قبل الكمية

يتحدى نهج Microsoft لنماذج Phi الحكمة السائدة القائلة بأن "الأكبر دائماً أفضل". بدلاً من توسيع حجم النموذج، ركز فريق Phi على تحسين جودة بيانات التدريب. تم تدريب نماذج Phi-3 على "الكتب المدرسية"، و"الكتب"، و"الأوراق البحثية المحكمة"، مما أدى إلى نماذج تتفوق بكثير على فئتها من حيث الوزن. يتفوق نموذج Phi-3-mini، الذي يحتوي على حوالي 3.8 مليار معامل، على العديد من النماذج مفتوحة المصدر التي تحتوي على 7 إلى 13 مليار معامل في معايير الاستدلال والبرمجة القياسية.

هذه الكفاءة ليست مجرد ادعاء تسويقي؛ بل هي مدمجة في البنية المعمارية. من خلال تحسين مزيج بيانات التدريب وتوظيف تقنيات التلخيص المتقدمة من النماذج الأكبر حجماً (نماذج المعلم)، يقدم Phi-3 قدرات استدلال من الطراز العالمي مع الحاجة إلى ذاكرة وحوسبة أقل بكثير.

الميزات الرئيسية والسمات المعمارية البارزة

تتوفر نماذج Phi-3 بأحجام متعددة: Mini (3.8B)، وSmall (7B)، وMedium (14B). تدعم نافذة سياق تصل إلى 128K رمزاً (token)، مما يمكنها من التعامل مع المستندات الطويلة بفعالية. تشمل الميزات التقنية الرئيسية ما يلي:

بيانات تدريب عالية الكثافة: تم تدريب النماذج على بيانات اصطناعية عالية الجودة تم انتقاؤها لتعظيم كثافة المعلومات.
آليات انتباه فعالة: استخدام انتباه الاستعلام المجمّع (GQA) لتسريع الاستدلال.
دعم Hugging Face الأصلي: تكامل سلس مع نظام Hugging Face البيئي لتحميل النماذج وضبطها الدقيق بسهولة.

التطبيق العملي: تحميل Phi-3 على وحدة المعالجة المركزية (CPU)

أحد أكثر جوانب Phi-3 إقناعاً هو قدرته على العمل على أجهزة المستهلك، بما في ذلك وحدات المعالجة المركزية (CPUs). هذا يجعله في متناول المطورين الذين لا يتوفر لديهم وصول إلى مجموعات وحدات معالجة الرسومات (GPUs) عالية المستوى. فيما يلي مثال عملي باستخدام مكتبة transformers من Hugging Face لتحميل وتشغيل نموذج Phi-3-mini على وحدة معالجة مركزية.


from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# Define the model identifier
model_name = "microsoft/Phi-3-mini-4k-instruct"

# Load the tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Load the model with torch_dtype for memory efficiency
# Using 'auto' allows the library to select the best dtype supported by your hardware
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"  # Automatically assigns layers to available devices (CPU/GPU)
)

# Prepare the prompt
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "Explain the concept of recursion in programming."}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

# Tokenize the input
inputs = tokenizer(text, return_tensors="pt")

# Generate output
outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    temperature=0.7,
    top_p=0.95
)

# Decode the generated tokens
response = outputs[0][inputs["input_ids"].shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

لماذا يجب على المطورين الاهتمام بنماذج اللغات الصغيرة (SLMs)

يعالج صعود نماذج اللغات الصغيرة مثل Phi-3 نقاط ألم حرجة في تطوير الذكاء الاصطناعي الحديث. أولاً، يتم تقليل زمن الاستجابة بشكل كبير. يمكن أن يكون الاستدلال على وحدة المعالجة المركزية شبه فوري للاستعلامات القصيرة، مما يتيح تطبيقات تفاعلية في الوقت الفعلي. ثانياً، يتم تقليل التكلفة. يقلل التشغيل المحلي أو على مثيلات سحابية أرخص من النفقات التشغيلية بشكل كبير. وأخيراً، يتم تعزيز الخصوصية. بما أن النموذج يمكن أن يعمل بالكامل على الجهاز، فإن البيانات الحساسة لا تغادر بيئة المستخدم أبداً، وهو عامل حاسم لتطبيقات المؤسسات والرعاية الصحية.

الخاتمة

تمثل نماذج Microsoft Phi-3 قفزة كبيرة في جعل الذكاء الاصطناعي عالي الجودة في متناول الجميع. ومن خلال إعطاء الأولوية لجودة البيانات والكفاءة المعمارية، يثبت Phi-3 أن النماذج الصغيرة يمكن أن تكون قوية وسريعة ومتعددة الاستخدامات. بالنسبة للمطورين الذين يتطلعون إلى نشر تطبيقات ذكاء اصطناعي فعالة من حيث التكلفة، وخاصّة، وسريعة الاستجابة، يجب أن يكون Phi-3 في أعلى قائمة التقييم الخاصة بك. ومع نضوج نظام نماذج اللغات الصغيرة، نتوقع رؤية المزيد من نماذج SLM المتطورة التي ستطمس الخط الفاصل بين الذكاء الاصطناعي المحلي والسحابي بشكل أكبر.