Introduction
La construction d'une Intelligence Artificielle Générale (AGI) exige une sécurité et une stabilité sans précédent. L'apprentissage par renforcement (RL) traditionnel permet aux agents d'explorer leur environnement, découvrant des actions à haute récompense, mais risquant aussi un échec catastrophique. Dans le contexte de l'AGI, nous ne pouvons pas nous permettre d'essais et d'erreurs dans le monde réel. L'apprentissage par renforcement hors ligne (Offline RL) résout ce problème en apprenant à partir de jeux de données statiques et précollectés. Cependant, un défi majeur demeure : le décalage de distribution. Lorsqu'un agent sélectionne des actions en dehors du support du jeu de données, les estimations de valeur de la politique deviennent peu fiables, pouvant conduire à des comportements non sûrs. Cet article explore les techniques pour atténuer ce risque dans les jeux de données statiques.
Le problème du décalage de distribution
Dans les configurations hors ligne, l'agent ne peut pas interroger l'environnement pour obtenir de nouvelles récompenses. Si l'agent propose une action $a$ qui est rarement ou jamais vue dans le jeu de données $D$ pour un état $s$ donné, la fonction Q $Q(s, a)$ est essentiellement une extrapolation. Cette extrapolation peut être optimiste, attribuant des valeurs élevées à des actions non observées. Pour la sécurité de l'AGI, cet optimisme est dangereux ; il peut amener l'agent à choisir des actions qui semblent théoriquement à haute récompense mais qui sont en réalité catastrophiques en pratique. Nous avons besoin d'algorithmes qui sont « pessimistes », pénalisant les actions qui sont éloignées du support des données.
CQL : Apprentissage Q conservateur
L'Apprentissage Q conservateur (CQL) est une approche de premier plan pour résoudre ce problème. CQL modifie la mise à jour standard de Bellman en ajoutant un terme de régularisation qui encourage les valeurs Q des actions dans le jeu de données à être élevées, tout en maintenant les valeurs Q des actions hors distribution basses. Essentiellement, il apprend une borne inférieure de la fonction Q.
Voici une implémentation conceptuelle simplifiée de la fonction de perte CQL dans PyTorch :
import torch
import torch.nn.functional as F
def cql_loss(q_values, q_values_min, q_values_data, alpha_cql):
"""
q_values: Q(s, a) pour toutes les actions possibles
q_values_min: min sur les actions de Q(s, a)
q_values_data: Q(s, a_data) pour les actions du jeu de données
alpha_cql: poids de régularisation
"""
# Le terme de perte Bellman standard est géré ailleurs dans la boucle d'entraînement
# Ceci est le terme de régularisation spécifique à CQL
# Encourager un Q élevé pour les actions des données
q_data_loss = -q_values_data.mean()
# Encourager un Q bas pour les autres actions (via normalisation min-max)
# max sur les actions - min sur les actions
q_all_loss = q_values.max(dim=1).values.mean() - q_values_min.mean()
# Combiner
loss_cql = alpha_cql * (q_all_loss - q_data_loss)
return loss_cql
# Utilisation dans la boucle d'entraînement (simplifiée)
# total_loss = td_loss + cql_loss(...)
En minimisant cette perte, l'agent devient conservateur. Il préfère les actions qui sont similaires à celles du jeu de données, même si une action légèrement différente pourrait théoriquement produire une récompense plus élevée. Ce compromis est crucial pour la sécurité : nous acceptons une politique potentiellement sous-optimale pour garantir la robustesse et la prévisibilité.
Apprentissage Q implicite (IQL)
Une autre méthode puissante est l'Apprentissage Q implicite (IQL). IQL évite d'évaluer les valeurs Q pour les actions hors distribution en utilisant un processus en deux étapes. D'abord, il apprend une fonction de valeur $V(s)$ qui est une borne supérieure du rendement attendu sous la politique comportementale. Ensuite, il apprend une fonction Q qui cible cette fonction de valeur, mais uniquement pour les actions échantillonnées du jeu de données. Cela signifie que la fonction Q n'est jamais contrainte d'estimer des valeurs pour des actions qui sont peu susceptibles d'être choisies par la politique dérivée des données.
L'avantage clé d'IQL par rapport à CQL est qu'il ne nécessite pas de régler un coefficient de régularisation (comme $\alpha_{CQL}$), qui peut être sensible. IQL équilibre naturellement la performance et la sécurité en restant dans l'enveloppe « sûre » des données observées.
Conseils pratiques d'implémentation
Lors de l'implémentation de ces méthodes pour l'entraînement de l'AGI :
1. **La qualité du jeu de données est reine :** Assurez-vous que votre jeu de données statique couvre adéquatement l'espace des états. Les lacunes dans les données entraîneront des lacunes en matière de sécurité.
2. **Sensibilité aux hyperparamètres :** Même avec IQL, des hyperparamètres comme la température pour le pondération par espérance (Exp) peuvent influencer à quel point l'agent est conservateur. Commencez par défaut et réglez avec soin.
3. **Métriques d'évaluation :** Ne mesurez pas seulement le rendement. Mesurez la « couverture du support » de la politique. Utilisez des métriques comme la divergence de Kullback-Leibler entre la politique apprise et la politique comportementale. Une grande divergence indique des risques potentiels pour la sécurité.
Conclusion
Le RL hors ligne offre une voie vers un entraînement plus sûr de l'AGI en éliminant le besoin d'exploration en direct. Cependant, il introduit le défi du décalage de distribution. En employant des méthodes conservatrices comme CQL ou IQL, nous pouvons entraîner des agents qui sont à la fois performants et sûrs, restant dans les limites de données connues et validées. Alors que nous progressons vers l'AGI, la priorisation de ces mécanismes de sécurité n'est pas seulement un détail technique — c'est une exigence fondamentale. Les travaux futurs devraient se concentrer sur des techniques de régularisation adaptatives qui peuvent ajuster dynamiquement le conservatisme en fonction des estimations d'incertitude, comblant davantage l'écart entre la performance et la sécurité.