TL;DR : nous avons implémenté CARLA, un simulateur de conduite autonome 3D, dans OpenEnv avec prise en charge de la vision, permettant la formation RL pour conduire des voitures en utilisant TRL et HF Spaces.
Que se passe-t-il lorsque vous demandez à un LLM de conduire une voiture dans un monde où la physique est réelle et où les actions ne peuvent pas être annulées ? Il ne s'agit pas d'un jeu hypothétique basé sur du texte, mais d'un véritable simulateur 3D où les distances de freinage comptent, les collisions ont des conséquences et où choisir de ne rien faire est en soi une décision.
Il y a quelques jours, je suis tombé sur cet article annonçant carla-env, un projet open source qui place des modèles de langage dans CARLA, un simulateur de conduite autonome 3D construit sur Unreal Engine 5.5 (pensez à une ville virtuelle avec des voitures, des piétons, des feux de circulation et de la physique réelle), pour évaluer leur prise de décision dans des scénarios 3D. L'idée est simple : au lieu de demander à un modèle ce qu'il ferait en cas d'urgence, vous le mettez au volant et voyez ce qui se passe.
Cet article de blog vous montre comment former des LLM et des VLM avec l'apprentissage par renforcement à l'aide d'outils open source accessibles tels que les espaces TRL, OpenEnv et Hugging Face. OpenEnv est un framework open source permettant de créer des environnements RL pour les LLM, voir l'article de blog pour plus d'informations.
Pour un contexte complet, consultez le billet de blog original, carla-env : Donner aux modèles l'accès à la simulation mondiale, qui couvre les idées et motivations clés derrière le projet.
carla-env place les LLM dans CARLA en tant qu'agents textuels qui interagissent avec le simulateur via des appels d'outils qui contrôlent une voiture. Le simulateur fonctionne de manière synchrone : le monde s'arrête pendant que le modèle réfléchit et n'avance que lorsque le modèle agit...
[Courte citation de 8% de l'article original]