Réarrangement : Un défi pour l'intelligence incarnée

Résumé

Nous décrivons un cadre pour la recherche et l'évaluation de l'IA incarnée. Notre proposition est basée sur une tâche canonique : Réarrangement. Une tâche standard peut focaliser le développement de nouvelles techniques et servir de source de modèles entraînés qui peuvent être transférés à d'autres contextes. Dans la tâche de réarrangement, l'objectif est d'amener un environnement physique donné dans un état spécifié. Cet état peut être spécifié par des poses d'objets, des images, une description en langage, ou en laissant l'agent expérimenter l'environnement dans cet état. Nous caractérisons les scénarios de réarrangement selon différents axes et décrivons des métriques pour évaluer les performances de réarrangement. Pour faciliter la recherche et l'exploration, nous présentons des bancs d'essai expérimentaux de scénarios de réarrangement dans quatre environnements de simulation différents. Nous prévoyons que d'autres ensembles de données seront publiés et que de nouvelles plateformes de simulation seront construites pour soutenir la formation des agents de réarrangement et leur déploiement sur des systèmes physiques.