TL;DR — Nous étendons le cadre RLVE (Zeng et al., 2025) des énigmes de raisonnement à un tour aux conversations de commerce électronique à plusieurs tours augmentées par des outils. ShopRLVE-GYM propose 8 environnements vérifiables : découverte de produits, substitution, création de paniers, retours, suivi des commandes, assurance qualité des politiques, planification des offres groupées et parcours multi-intentions - chacun avec une génération de problèmes procéduraux, un programme de difficulté à 12 axes et des récompenses vérifiables par algorithme. Nous formons un modèle Qwen 3 1.7B avec DAPO sur 300 étapes et présentons les premiers résultats démontrant que la mise à l'échelle de l'environnement et la difficulté d'adaptation sont transférées à l'achèvement de tâches agentiques dans le monde réel. Le projet évolue, démarré avec Pytorch OpenEnv Hackathon.
Les grands modèles linguistiques peuvent tenir des conversations fluides, mais leur déploiement en tant qu'assistants d'achat autonomes révèle un écart persistant : maîtrise ≠ achèvement des tâches. Un client qui demande « Trouvez-moi un chargeur USB-C à moins de 25 $ expédié dans deux jours » a besoin d'un agent qui (i) invoque la bonne recherche dans le catalogue, (ii) filtre sur trois contraintes strictes, (iii) évite les identifiants de produit hallucinants qu'il n'a jamais récupérés, et (iv) gère avec élégance les suivis lorsque le meilleur résultat est en rupture de stock. Le réglage fin supervisé (SFT) peut enseigner l'utilisation d'outils au niveau de la surface à partir de démonstrations, mais il ne peut pas s'adapter à l'espace combinatoire des configurations de contraintes, des dialogues à informations partielles et des flux de travail transactionnels en plusieurs étapes qu'exige le véritable commerce électronique.
L'apprentissage par renforcement avec récompenses vérifiables (RLVR) offre une alternative de principe : plutôt que d'imiter des démonstrations, l'agent optimise les résultats : les produits recommandés satisfont-ils réellement aux contraintes ? Le panier était-il correct ? Le retour a-t-il été initié pour la bonne ligne de commande ? Le défi a été de construire des fonctions de récompense qui soient à la fois vérifiables (pas de subjectivité du LLM en tant que juge) et adaptatives (difficulté qui augmente avec la capacité de la politique).
Zeng et coll. (2025) ont introduit le RLVE (Reinforcement Learning with Adaptive Verifiable Environments) et ont construit RLVE-Gym, une suite de 400 environnements couvrant le tri, la multiplication, le Sudoku, les chemins hamiltoniens, l'intégration et d'autres tâches de raisonnement algorithmique.
Cependant, les 400 environnements de RLVE-Gym sont entièrement des puzzles de raisonnement à un seul tour, avec entrée et sortie de texte. La propre section sur les travaux futurs du document appelle explicitement à étendre le cadre aux domaines non vérifiables et agents :
ShopRLVE-GYM prend une direction différente mais complémentaire : nous restons dans le régime vérifiable (les résultats du commerce électronique peuvent être vérifiés de manière algorithmique) tout en étendant le RLVE à des paramètres agentiques multi-tours, augmentés par des outils. Cela comble une lacune identifiée par l'article original mais non abordée : des environnements dans lesquels l'agent doit agir (appeler des outils, modifier l'état du monde) plutôt que simplement raisonner (produire une réponse textuelle).
Huit environnements atomiques vérifiables pour les conversations de commerce électronique, chacun avec un générateur de problèmes procéduraux, un vérificateur algorithmique et une difficulté entière d.
Un vecteur de difficulté à 12 dimensions $\theta(d)$ qui mappe un seul entier d à des paramètres spécifiques à l'environnement contrôlant le nombre de contraintes, les lacunes d'informations, le bruit de récupération, la longueur du dialogue, etc., le tout fondé sur des phénomènes concrets de commerce électronique.
Une fonction de récompense de composition combinant la récompense de tâche $r_{\text{task}}$, la récompense d'efficacité $r_{\text{eff}}$ et la pénalité d'hallucination $r_{\text{hall}}$ avec des remplacements d'échec matériel pour les violations de format/outil/sécurité.
Simulation utilisateur basée sur la personnalité utilisant Meta-Llama-3.1-8B-Instruct comme épine dorsale, avec des poids de préférences latentes échantillonnés par Dirichlet qui sont cachés à l'agent et utilisés uniquement par le vérificateur.
Mise à jour : nous remplaçons les poids de préférence latentes échantillonnés par Dirichlet par un générateur de poids entraîné léger.
Collections d'environnements imbriquées $\mathcal{C}_1 \subset \mathcal{C}_2 \subset \mathcal{C}_4 \subset \mathcal{C}_8$ pour étudier la mise à l'échelle de l'environnement dans le régime agent.
Premiers résultats de formation avec Qwen 3 1.7B + DAPO (300 étapes), démontrant la viabilité de l'approche.
Suite à RLVE, chaque environnement atomique est un tuple :
E(i)=(I(i), P(i), R(i))E^{(i)} = \bigl(I^{(i)},\; \mathcal{P}^{(i)},\; R^{(i)}\bigr)E(i)=(I(i),P(i),R(i))
$\mathcal{P}_d^{(i)}$ est le générateur de problèmes en difficulté $d$, échantillonnant les paramètres du problème $p \sim \mathcal{P}_d^{(i)}$.
$I_p^{(i)}$ est l'entrée instanciée : le message utilisateur initial plus toutes les métadonnées d'objectif structurées.
$R_p^{(i)}(o) \in [-1, 1]$ est le vérificateur qui mappe la trajectoire de sortie d'un épisode $o$ à une récompense scalaire.
La propriété critique est la vérifiabilité algorithmique : $R_p$ est un programme déterministe, pas un juge LLM. Pour la découverte de produits, cela signifie vérifier les taux de satisfaction des contraintes et le nDCG par rapport à un pool d'évaluation de la vérité terrain. Pour la création de paniers, cela signifie calculer F1 sur le multiensemble requis de tuples (produit, variante, quantité).
Une objection courante est que les tâches agentiques du monde réel sont intrinsèquement subjectives. Le commerce électronique est une heureuse exception car les résultats du service client sont structurellement vérifiables :
Chacun d’entre eux peut être évalué par un programme ayant accès à l’objectif caché de la vérité terrain. Aucune annotation humaine n'est nécessaire. Aucun LLM en tant que juge n'est nécessaire.
Contrairement au format à tour unique de RLVE-Gym, chaque épisode de ShopRLVE est un di...
[Courte citation de 8% de l'article original]