Lors de la création d'applications de Génération Augmentée par Récupération (RAG), les développeurs font souvent face à un goulot d'étranglement courant : le problème de l'aiguille dans une botte de foin. Bien que les bases de données vectorielles excellent à récupérer des documents sémantiquement similaires à grande échelle, elles s'appuient sur des embeddings denses qui approximent la similarité. Cette approximation peut entraîner du bruit, où les extraits récupérés sont pertinents sur le plan thématique mais insuffisants contextuellement pour répondre à des requêtes complexes. Voici le réordonnancement : l'étape d'optimisation critique qui transforme un bon système RAG en un excellent système.
Comprendre l'écart de récupération
Dans un pipeline RAG standard, l'étape de récupération utilise généralement une architecture bi-encodeur. Ici, la requête et le document sont encodés indépendamment en embeddings vectoriels, et la similarité est calculée via la similarité cosinus. Bien que cette méthode soit efficace sur le plan computationnel et évolutive à des millions de documents, elle manque de la capacité à comprendre l'interaction fine entre les termes spécifiques de la requête et le contenu du document.
Par exemple, si un utilisateur demande : « Le contrat permet-il la résiliation anticipée sans pénalité ? », un bi-encodeur pourrait récupérer une clause sur la résiliation anticipée provenant d'une section différente qui implique des pénalités, simplement parce que les mots se chevauchent sémantiquement. C'est ici que l'étape de réordonnancement intervient pour corriger ces erreurs.
Réordonnancement avec des Cross-Encoders
La référence en matière de réordonnancement est l'utilisation de Cross-Encoders. Contrairement aux bi-encodeurs, les Cross-Encoders traitent la requête et le document simultanément. Ils peuvent prêter attention à chaque mot de la requête et à chaque mot du document, capturant ainsi des interactions sémantiques complexes, les négations et les contraintes spécifiques.
Généralement, un pipeline utilise une recherche vectorielle dense pour la récupération grossière initiale (par exemple, récupérer les 50 à 100 meilleurs documents), puis applique un Cross-Encoder pour re-scoring ces candidats, ne renvoyant que les 5 à 10 extraits les plus pertinents au LLM. Cette approche hybride équilibre vitesse et précision.
Mise en œuvre pratique avec Sentence Transformers
Implémenter un réordonnanceur est simple grâce aux bibliothèques Python modernes. La bibliothèque sentence-transformers fournit des modèles Cross-Encoder pré-entraînés qui peuvent être intégrés dans n'importe quel pipeline RAG. Voici un exemple pratique de la manière de noter les documents récupérés par rapport à une requête.
from sentence_transformers import CrossEncoder
# Charger un modèle Cross-Encoder pré-entraîné
model = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
# La requête de l'utilisateur
query = "Quels sont les avantages de l'utilisation de Cross-Encoders pour le réordonnancement ?"
# Les candidats initiaux récupérés depuis une base de données vectorielle (étape Bi-Encodeur)
candidates = [
"Les cross-encoders sont lents mais précis.",
"Les bases de données vectorielles utilisent la similarité cosinus pour la recherche.",
"Le réordonnancement améliore la précision en traitant conjointement les paires requête-document.",
"Les LLM peuvent halluciner si le contexte est non pertinent."
]
# Calculer les scores de pertinence
scores = model.predict([(query, text) for text in candidates])
# Associer les scores aux textes et trier par score décroissant
results = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)
for text, score in results:
print(f"Score : {score:.4f} | Texte : {text}")Dans cet extrait, le modèle renvoie un score de pertinence pour chaque candidat. En triant ces résultats, nous nous assurons que le LLM reçoit les informations les plus pertinentes contextuellement, réduisant ainsi considérablement les taux d'hallucination.
Conclusion
Le réordonnancement n'est pas seulement une option supplémentaire ; c'est un composant nécessaire pour les systèmes RAG de niveau production. En exploitant les Cross-Encoders pour affiner les résultats de récupération initiaux, les développeurs peuvent considérablement améliorer la précision de leur récupération de connaissances. Bien que cela ajoute une latence, le compromis est presque toujours rentable grâce au gain en qualité des réponses. À mesure que vous mettez à l'échelle vos applications IA, l'intégration d'une stratégie de réordonnancement robuste sera le facteur différenciant entre un prototype et un produit fiable.