Technical Tutorials

با گذار مدل‌های زبانی بزرگ (LLMs) از نمونه‌های آزمایشی به ابزارهای اصلی تولید، مباحث اقتصادی استنتاج به یک دغدغه حیاتی تبدیل شده است. اگرچه پنهان‌سازی معنایی—ذخیره نتایج بر اساس شباهت برداری—محبویت یافته است، اما راه‌حل جادویی نیست. تطبیق معنایی سربار محاسباتی ایجاد می‌کند و گاهی اوقات می‌تواند تطبیق‌های دقیق را که در آن‌ها دقت حیاتی است، از دست بدهد. برای بسیاری از موارد استفاده سازمانی، استراتژی‌های قطعی مانند پنهان‌سازی «کمترین استفاده اخیر» (LRU) و «زمان تا انقضا» (TTL) قابلیت اطمینان و کارایی هزینه برتری ارائه می‌دهند. این مقاله بررسی می‌کند که چگونه می‌توان این استراتژی‌ها را برای کاهش چشمگیر هزینه‌های استنتاج بدون قربانی کردن کیفیت خدمات پیاده‌سازی کرد.

محدودیت‌های پنهان‌سازی صرفاً معنایی

پنهان‌سازی معنایی به مدل‌های تعبیه (Embedding) متکی است تا تعیین کند آیا پاسخ قبلی به یک پرسش جدید «به اندازه کافی نزدیک» است یا خیر. اگرچه این روش برای وظایف اکتشافی موثر است، اما برای کاربردهای با ریسک بالا دو عیب اصلی دارد: تأخیر و هزینه. محاسبه تعبیه‌ها برای هر درخواست ورودی یک مرحله پردازش اضافه می‌کند که می‌تواند صرفه‌جویی حاصل از حذف استنتاج LLM را خنثی کند. علاوه بر این، در سناریوهایی که بازیابی دقیق داده‌ها مورد نیاز است (مانند جستجوی تیکت‌های پشتیبانی مشتری یا گزارش‌های مالی)، تطبیق‌های تقریبی غیرقابل قبول هستند. در اینجا، جستجوهای کلید دقیق از طریق LRU یا حذف زمانی از طریق TTL بسیار مناسب‌تر هستند.

پیاده‌سازی پنهان‌سازی LRU (کمترین استفاده اخیر)

پنهان‌سازی LRU برای الگوهای پرسش تکراری ایده‌آل است. اگر برنامه شما اغلب سوالات یکسانی می‌پرسد، ذخیره خروجی دقیق با کلیدگذاری بر اساس پرسش، اجازه می‌دهد درخواست‌های بعدی بلافاصله از حافظه یا یک ذخیره‌سازی سریع درون‌حافظه‌ای مانند Redis بازگردانده شوند. اصل اساسی ساده است: وقتی پنهان‌سازی به ظرفیت خود می‌رسد، کمترین آیتم دسترسی‌یافته اخیر حذف می‌شود.

در پایتون، می‌توانید یک پنهان‌سازی LRU قوی را با استفاده از کتابخانه `functools` پیاده‌سازی کنید یا برای سیستم‌های توزیع‌شده با Redis یکپارچه شوید. در زیر یک مثال عملی با استفاده از رویکرد مبتنی بر دکوراتور برای سادگی آورده شده است که اغلب در میکروسرویس‌های محلی استفاده می‌شود.

import time
from functools import lru_cache

# تنظیم maxsize روی 128 به این معنی است که آیتم جدید صدم، قدیمی‌ترین مورد استفاده شده را حذف می‌کند
@lru_cache(maxsize=128)
def get_llm_response(query: str, model: str = "gpt-4") -> str:
    """
    یک تماس LLM را شبیه‌سازی می‌کند. در محیط تولید، این تابع API را فراخوانی می‌کند.
    دکوراتور به طور خودکار پنهان‌سازی را مدیریت می‌کند.
    """
    print(f"API Call made for: {query[:20]}...")
    # شبیه‌سازی تأخیر شبکه
    time.sleep(1)
    return f"AI Response to: {query}"

# اولین تماس - به API متصل می‌شود
print(get_llm_response("What is the capital of France?"))

# دومین تماس - از پنهان‌سازی سرویس می‌گیرد
print(get_llm_response("What is the capital of France?"))

# پرسش متفاوت - دوباره به API متصل می‌شود
print(get_llm_response("What is 2+2?"))

استراتژیک استفاده از TTL (زمان تا انقضا)

خروجی‌های LLM اغلب وابسته به زمینه یا حساس به زمان هستند. حقیقتی که دیروز معتبر بود، ممکن است امروز نادرست باشد. پنهان‌سازی TTL این موضوع را با مرتبط کردن هر ورودی پنهان‌سازی با یک تایمر انقضا حل می‌کند. این استراتژی به ویژه برای خلاصه‌های خبری، تحلیل بازار بلادرنگ یا سوالات متداول پویا مفید است.

هنگام پیاده‌سازی TTL، به ویژه در یک محیط توزیع‌شده با استفاده از Redis، باید زمان انقضا را بر اساس نوسانات داده‌ها پیکربندی کنید. برای پرسش‌های مستندسازی ثابت، یک TTL 24 ساعته ممکن است کافی باشد. برای تحلیل سهام بلادرنگ، یک TTL 60 ثانیه‌ای ممکن است ضروری باشد.

import redis
import json

# اتصال به Redis
r = redis.Redis(host='localhost', port=6379, db=0)

def get_cached_llm_response(query: str, ttl_seconds=3600):
    cache_key = f"llm:{query}"
    
    # تلاش برای دریافت از پنهان‌سازی
    cached_response = r.get(cache_key)
    
    if cached_response:
        print("Cache Hit")
        return json.loads(cached_response)
    
    # شبیه‌سازی تماس LLM
    print("Cache Miss - Calling LLM")
    # response = call_llm_api(query) 
    response = f"Result for: {query}"
    
    # ذخیره در پنهان‌سازی با TTL
    r.setex(cache_key, ttl_seconds, json.dumps(response))
    
    return response

# این مورد پس از 1 ساعت منقضی می‌شود
get_cached_llm_response("Current weather in London")

رویکرد ترکیبی برای LLMOps

موثرترین استراتژی از نظر هزینه اغلب ترکیبی از این تکنیک‌ها است. می‌توانید از پنهان‌سازی دقیق LRU برای پرسش‌های قطعی و پنهان‌سازی معنایی برای وظایف خلاقانه یا باز استفاده کنید. علاوه بر این، لایه‌بندی TTL روی LRU اطمینان حاصل می‌کند که حتی تطبیق‌های دقیق نیز داده‌های منسوخ را برای همیشه سرو نمی‌دهند. با تنظیم دقیق اندازه‌های پنهان‌سازی و سیاست‌های انقضا، تیم‌های مهندسی می‌توانند هزینه‌های API مدل‌های زبانی بزرگ را تا 40-60 درصد کاهش دهند و همزمان تجربه کاربری پاسخگو را حفظ کنند.

نتیجه‌گیری

پنهان‌سازی معنایی یک ابزار قدرتمند است، اما تنها راه حل برای بهینه‌سازی استنتاج LLM نیست. پیاده‌سازی استراتژی‌های قوی LRU و TTL جایگزینی قطعی، با تأخیر کم و بسیار مقرون‌به‌صرفه را برای بسیاری از بارهای کاری تولید فراهم می‌کند. با بالغ‌تر شدن زمینه LLMOps، توانایی انتخاب مکانیسم پنهان‌سازی مناسب برای مورد استفاده مناسب، برنامه‌های عملکرد بالا را از آن‌هایی که با صورت‌حساب‌های سرسام‌آور API دست و پنجه نرم می‌کنند، متمایز خواهد کرد.