Accélérer les LLM : Décodage spéculatif et optimisation du cache KV pour une inférence sous 100 ms
Stratégie d'optimisation clé : Mettre en œuvre le regroupement continu (Continuous Batching). Contrairement au regroupement statique, le regroupement continu permet d'insérer de nouvelles requêtes dans le lot dès qu'une requête précédente se termine, maximisant ainsi l'utilisation du GPU et maintenant le cache KV compact et...