Technical Tutorials

Introduction

Dans le paysage en constante évolution de la Génération Augmentée par Récupération (RAG), la recherche par similarité vectorielle est devenue la pierre angulaire de la récupération de connaissances. Cependant, se fier uniquement à la similarité sémantique peut entraîner des résultats bruités, un contexte non pertinent et même des vulnérabilités de sécurité. C'est ici que le filtrage des métadonnées intervient comme composant critique pour la précision. En combinant des filtres de données structurées avec des plongements vectoriels non structurés, les développeurs peuvent s'assurer que leurs grands modèles de langage (LLM) récupèrent exactement ce qui est nécessaire, au moment où c'est nécessaire.

Pourquoi le filtrage des métadonnées est essentiel

Les plongements vectoriels capturent le sens sémantique mais manquent de contexte structurel. Sans filtrage des métadonnées, une requête pour « avantages de l'entreprise » pourrait renvoyer des documents sur les avantages provenant de plusieurs départements différents, voire des analyses de concurrents externes s'ils partagent une pondération sémantique similaire. Les métadonnées vous permettent de restreindre l'espace de recherche en fonction de :

Contrôle d'accès : S'assurer que les utilisateurs ne voient que les données auxquelles ils sont autorisés à accéder.
Récenteté : Prioriser les versions les plus récentes des documents.
Catégorisation : Limiter les résultats à des types de fichiers, auteurs ou étiquettes spécifiques.
Précision : Réduire les hallucinations en forçant le modèle à n'utiliser que des sources spécifiques et vérifiées.

Implémentation des filtres dans LangChain

LangChain offre un support robuste pour le filtrage des métadonnées via ses interfaces de récupérateur. Lors de l'utilisation de bases de données vectorielles comme FAISS ou Pinecone, vous pouvez passer des filtres de métadonnées directement lors du processus de recherche de similarité.

from langchain.vectorstores import Pinecone

# Supposons que `pinecone_index` est votre index Pinecone initialisé
# et que `pca` est votre technique de réduction de dimensionnalité

def retrieve_with_filter(query, department, doc_id):
    # Définir les filtres de métadonnées
    filters = {
        "department": department,  # Correspondance exacte
        "doc_id": doc_id           # Contrainte de document spécifique
    }

    # Effectuer la recherche de similarité avec filtres
    # k : nombre de résultats, filter : dictionnaire de métadonnées
    results = pinecone_index.similarity_search_with_relevance_scores(
        query, k=3, filter=filters
    )

    return results

# Utilisation
# results = retrieve_with_filter("Comment demander des congés ?", "RH", "doc_123")

Filtrage avancé dans LlamaIndex

LlamaIndex offre un contrôle encore plus granulaire via son API `MetadataFilters`, permettant des combinaisons logiques complexes telles que ET, OU et des opérateurs de comparaison (supérieur à, inférieur à, dans la liste).

from llama_index.vector_stores.pinecone import PineconeVectorStore
from llama_index import VectorStoreIndex, SimpleDirectoryReader
from llama_index.filters import MetadataFilters, FilterCondition, FilterOperator

# Charger les documents
documents = SimpleDirectoryReader("data_dir").load_data()

# Construire l'index
index = VectorStoreIndex.from_documents(documents, vector_store=vector_store)

# Définir des filtres complexes
filters = MetadataFilters(
    filters=[
        {
            "key": "author",
            "value": ["John Doe", "Jane Smith"],
            "operator": FilterOperator.IN
        },
        {
            "key": "date_published",
            "value": "2023-01-01",
            "operator": FilterOperator.GTE  # Supérieur ou égal
        }
    ],
    condition=FilterCondition.AND
)

# Requête avec filtres
retriever = index.as_retriever(similarity_top_k=5)
query_engine = index.as_query_engine()
response = query_engine.query("Résumer les mises à jour récentes des politiques", filters=filters)

Exemples pratiques : Sécurité des SaaS multi-locataires

Considérez une plateforme SaaS multi-locataires où les utilisateurs appartiennent à différentes organisations. Si vous utilisez une base de données vectorielle partagée pour tous les locataires, le filtrage des métadonnées est incontournable pour la sécurité. Vous devez étiqueter chaque fragment de document avec un `tenant_id`. Lors de la récupération, la couche applicative doit injecter le `tenant_id` de l'utilisateur actuel dans l'objet de filtre. Cela garantit que les données confidentielles du Locataire A ne sont jamais récupérées pour le Locataire B, même si la requête sémantique correspond parfaitement.

Conclusion

Le filtrage des métadonnées transforme les systèmes RAG de simples moteurs de recherche sémantique en plateformes de récupération d'informations précises, sécurisées et conscientes du contexte. En maîtrisant l'intégration des filtres structurés avec la similarité vectorielle, les développeurs peuvent considérablement améliorer la précision des réponses des LLM, réduire les coûts de jetons en limitant la fenêtre de contexte et appliquer des politiques strictes de gouvernance des données. À mesure que les architectures RAG gagnent en complexité, traiter les métadonnées comme un citoyen de première classe dans votre pipeline de récupération n'est plus optionnel — c'est essentiel.