Alors que le domaine de l'intelligence artificielle progresse rapidement vers l'Intelligence Artificielle Générale (AGI), le problème de l'alignement est passé d'une curiosité théorique à une priorité existentielle. Depuis des années, le paradigme dominant reposait sur des méthodes telles que l'apprentissage par renforcement à partir de retours humains (RLHF) et le cadre plus récent de l'IA constitutionnelle, où les modèles sont entraînés contre un ensemble fixe de principes.
Cependant, à mesure que les modèles gagnent en capacité, l'examen humain devient le principal goulot d'étranglement. Nous ne pouvons pas étiqueter des milliards d'interactions, ni les humains détecter de manière fiable des comportements trompeurs sophistiqués dans des espaces de paramètres de haute dimension. Cet article de blog explore la prochaine frontière : les mécanismes de Supervision Évolutive et de Débat qui nous permettent de superviser des systèmes surhumains en utilisant uniquement une intelligence humaine modeste.
Le goulot d'étranglement de la supervision directe
L'IA constitutionnelle fonctionne en faisant critiquer une IA par une autre IA sur la base d'une constitution prédéfinie. Bien que efficace pour réduire les sorties nuisibles, elle suppose que la constitution est complète et que le critique est plus intelligent ou au moins égal au modèle critiqué. Dans un régime surhumain, cette hypothèse échoue. Nous avons besoin de mécanismes où un superviseur faible peut toujours vérifier l'exactitude d'un agent fort.
C'est ici qu'interviennent l'Apprentissage par Renforcement Inverse Coopératif (CIRL) et le Débat. Ces approches exploitent le calcul pour combler le fossé entre le jugement humain et la capacité machine.
Collaboration adversaire : Le protocole de débat
Les travaux de Jim Bosch et Paul Christiano sur le Débat proposent un paradigme où deux agents IA débattent d'une question, et un juge humain sélectionne le gagnant. L'idée clé est que si la vérité est plus facile à distinguer que les fausses informations, l'agent défendant la vérité aura un avantage structurel. En décomposant itérativement des questions complexes en sous-questions plus simples, même un juge non expert peut finalement vérifier l'étape finale.
La mise en œuvre de cela nécessite une boucle d'évaluation spécifique. Voici un exemple de pseudocode montrant comment un tour de débat pourrait être structuré dans une simulation basée sur Python :
class DebateRound:
def __init__(self, question, agents, judge):
self.question = question
self.agents = [agents[0], agents[1]] # Agent A et Agent B
self.judge = judge
self.turns = 0
self.max_turns = 5
def run_simulation(self):
print(f"Début du débat sur : {self.question}")
while self.turns < self.max_turns:
# Chaque agent génère un argument basé sur l'état
arguments = [agent.generate_argument(self.question) for agent in self.agents]
# Le juge évalue quel argument est le plus véridique/convaincant
winner_index = self.judge.evaluate(arguments)
# L'argument gagnant avance ; l'autre partie doit répliquer
print(f"Tour {self.turns + 1} : L'agent {winner_index} gagne ce segment.")
self.turns += 1
# Verdict final basé sur les preuves accumulées
return self.judge.final_verdict(arguments)
# Exemple d'utilisation
judge = HumanJudgmentModel()
debate = DebateRound("La politique climatique proposée est-elle économiquement viable ?",
[AgentA, AgentB], judge)
result = debate.run_simulation()
Supervision évolutive via la vérification
Un autre mécanisme critique est la Vérification. Si nous pouvons vérifier une solution plus rapidement que nous ne pouvons la trouver, nous pouvons utiliser l'IA pour trouver des solutions et les humains pour les vérifier. Cela est courant dans la preuve de théorèmes mathématiques. Pour l'AGI, cela signifie concevoir des systèmes où la preuve de la sécurité d'une action est moins coûteuse en calcul à vérifier que l'action elle-même à exécuter.
L'application pratique implique la mise en œuvre de pipelines de validation adversaire. Au lieu de demander à un humain « Est-ce bon ? », nous lui demandons « Est-ce mauvais ? » dans des dimensions spécifiques et à enjeux élevés. Cela réduit la charge cognitive et permet de faire évoluer la supervision à travers des millions de sorties.
Conclusion
Alors que nous nous rapprochons de l'AGI, se fier uniquement à des règles constitutionnelles statiques est insuffisant. Nous devons adopter des mécanismes de supervision dynamiques, adverses et vérifiables. Le débat nous permet de décomposer la complexité, tandis que la supervision évolutive nous permet d'exploiter le jugement humain à une échelle machine. L'avenir de la sécurité de l'IA ne réside pas seulement dans ce que nous disons à l'IA de faire, mais dans la manière dont nous architecturons les systèmes qui nous permettent de leur faire confiance.