Technical Tutorials

برای توسعه‌دهندگانی که با مدل‌های زبانی بزرگ محلی (LLMs) کار می‌کنند، یکسان بودن رفتار (Consistency) پادشاه است. یکی از قدرتمندترین اما کم‌کاربردترین ویژگی‌های Ollama، Modelfile است. آن را مانند Dockerfile برای مدل‌های هوش مصنوعی در نظر بگیرید. با تسلط بر Modelfiles، می‌توانید فراتر از صرفاً دریافت مدل‌های از پیش ساخته رفته و به ساخت، بسته‌بندی و توزیع پیکربندی‌های سفارشی مدل بپردازید که رفتار یکسانی را در هر دستگاهی که Ollama روی آن اجرا می‌شود، تضمین می‌کنند.

چرا قابلیت تکرارپذیری در هوش مصنوعی محلی اهمیت دارد؟

در استقرار هوش مصنوعی مبتنی بر ابر، متغیرهای محیطی و پیکربندی‌های سرور می‌توانند به‌صورت پنهان تغییر کنند. به‌صورت محلی، این انحراف به شکل متفاوتی خود را نشان می‌دهد: یک قالب پرامپت که روی دستگاه توسعه شما کار می‌کند، ممکن است به دلیل تفاوت‌های ظریف در نسخه‌های مدل یا پارامترهای سیستم، روی دستگاه همکار شما شکست بخورد. Modelfile این مشکل را حل می‌کند با جاسازی معماری پایه مدل، پرامپت‌های سیستم و پارامترهای استنتاج در یک فایل متنی واحد و تحت کنترل نسخه. این امر تضمین می‌کند که هر کسی که ollama run را اجرا کند، دقیقاً همان خروجی منطقی را دریافت می‌کند، صرف‌نظر از سخت‌افزار زیربنایی خود.

آناتومی یک Modelfile محکم

یک Modelfile پایه به یک مدل اصلی اشاره می‌کند، اما یک نسخه آماده برای تولید شامل مجموعه‌های دستورالعمل خاص و تنظیم پارامترها است. در زیر یک مثال از یک مدل سفارشی "CodeReviewer" ساخته شده بر پایه llama3 آورده شده است:

# Modelfile: CodeReviewer
FROM llama3:8b-instruct-q5_K_M

# تعریف رفتار اصلی
SYSTEM شما یک مهندس نرم‌افزار ارشد هستید. وظیفه شما بررسی قطعات کد برای آسیب‌پذیری‌های امنیتی، گلوگاه‌های عملکردی و مشکلات سبک کدنویسی است. همیشه بازخورد سازنده ارائه دهید.

# پارامترهای تنظیم برای تولید کد
PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER num_ctx 8192

# اختیاری: قالب پرامپت سفارشی برای قالب‌بندی خاص
TEMPLATE """
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
{{ .System }}
<|eot_id|><|start_header_id|>user<|end_header_id|>
{{ .Prompt }}
<|eot_id|><|start_header_id|>assistant<|end_header_id|>
"""

به دستور FROM که از یک تگ کوانتیزاسیون خاص (q5_K_M) استفاده می‌کند، توجه کنید. این برای مدیریت وابستگی‌ها حیاتی است. اگر فقط FROM llama3 را مشخص کنید، Ollama ممکن است کوانتیزاسیون پیش‌فرض را دریافت کند که می‌تواند بین نسخه‌های مختلف Ollama متفاوت باشد. قفل کردن نسخه تضمین می‌کند که وزن‌های مدل به‌طور بیت‌به‌بیت یکسان باشند.

خودکارسازی فرآیند ساخت

برای یکپارچه‌سازی این فرآیند با CI/CD یا گردش کار توسعه شما، می‌توانید فرآیند ساخت را اسکریپت‌نویسی کنید. این به شما امکان می‌دهد قبل از تعهد (Commit) کردن Modelfile به مخزن خود، آزمایش کنید که مدل سفارشی شما به‌طور مورد انتظار رفتار می‌کند.

#!/bin/bash
# build_model.sh

MODEL_NAME="codereviewer"
MODFILE_PATH="./Modelfile"

echo "Building ${MODEL_NAME}..."
ollama create ${MODEL_NAME} -f ${MODFILE_PATH}

if [ $? -eq 0 ]; then
    echo "Success. Running smoke test..."
    ollama run ${MODEL_NAME} "Review this Python function: def add(a,b): return a+b"
else
    echo "Build failed. Check Modelfile syntax."
    exit 1
fi

مدیریت وابستگی‌ها و نسخه‌ها

Modelfiles فقط پرامپت‌ها را پیکربندی نمی‌کنند؛ آن‌ها همچنین می‌توانند وابستگی‌های فایل را مدیریت کنند. اگر مدل شما به نمونه‌های Few-shot خاص یا اسکیماهای JSON ذخیره شده در فایل‌های محلی نیاز دارد، می‌توانید از دستور ADDITIONAL_FILES (پشتیبانی شده در نسخه‌های جدیدتر Ollama) استفاده کنید یا این فایل‌ها را از طریق قالب پرامپت متصل کنید. برای مدیریت سخت‌گیرانه‌تر وابستگی‌ها، یک requirements.txt یا environment.yml را در کنار Modelfile خود نگه دارید تا اطمینان حاصل شود که محیط Python میزبان (در صورت استفاده از اسکریپت‌های Python برای پیش‌پردازش) با منطق مدل یکسان باقی می‌ماند.

نتیجه‌گیری

Modelfiles در Ollama کلید در نظر گرفتن LLMهای محلی به عنوان محصولات نرم‌افزاری درجه یک هستند. با قفل کردن نسخه‌های مدل پایه، تعریف صریح پرامپت‌های سیستم و خودکارسازی فرآیند ساخت، مشکل "روی دستگاه من کار می‌کند" را از بین می‌برید. با حرکت هوش مصنوعی محلی از آزمایش به سمت تولید، انضباط بسته‌بندی قابل تکرارپذیر به یک روش استاندارد برای هر توسعه‌دهنده در این حوزه تبدیل خواهد شد. از کوچک شروع کنید: پرامپت مورد علاقه خود را به یک Modelfile تبدیل کنید و ببینید چگونه توسعه هوش مصنوعی محلی شما به‌طور قابل توجهی محکم‌تر می‌شود.