تحسين نماذج اللغات الكبيرة للأجهزة الطرفية المعتمدة على المعالج فقط: دليل للضغط وتقليد المعرفة
يُعد نشر نماذج اللغات الكبيرة (LLMs) على الأجهزة الطرفية تحدياً هندسياً فريداً. بينما توفر وحدات معالجة الرسومات قوة معالجة متوازية هائلة، إلا أنها غالباً ما تكون مستهلكة للطاقة، أو باهظة الثمن، أو غائبة فيزيائياً عن بوابات إنترنت الأشياء والهواتف المحمولة والأنظمة المدمجة. للمطورين الذين يهدفون...