شتابدهی به مدلهای زبانی بزرگ: رمزگشایی حدسی و بهینهسازی حافظه KV برای استنتاج زیر ۱۰۰ میلیثانیه
استراتژی بهینهسازی کلیدی: پیادهسازی دستهبندی پیوسته (Continuous Batching). برخلاف دستهبندی ایستا، دستهبندی پیوسته اجازه میدهد درخواستهای جدید به محض اتمام درخواست قبلی به دسته اضافه شوند که بهرهوری GPU را به حداکثر رسانده و حافظه KV را فشرده نگه میدارد.