STPOTR : Prédiction simultanée de la trajectoire et de la pose d'un humain à l'aide d'un transformateur non autorégressif pour le suivi d'un robot.

Résumé

Dans cet article, nous développons un modèle de réseau neuronal pour prédire les mouvements humains futurs à partir d'un historique de mouvements humains observés. Nous proposons une architecture de transformateur non autorégressif afin de tirer parti de sa nature parallèle pour faciliter l'apprentissage et obtenir des prédictions rapides et précises au moment du test. L'architecture proposée divise la prédiction du mouvement humain en deux parties : 1) la trajectoire humaine, qui est la position 3D de l'articulation de la hanche dans le temps et 2) la pose humaine, qui est la position 3D de toutes les autres articulations dans le temps par rapport à une articulation de la hanche fixe. Nous proposons de faire les deux prédictions simultanément, car la représentation partagée peut améliorer les performances du modèle. Par conséquent, le modèle se compose de deux ensembles d'encodeurs et de décodeurs. Premièrement, un module d'attention multi-têtes appliqué aux sorties de l'encodeur améliore la trajectoire humaine. Deuxièmement, un autre module d'auto-attention multi-têtes appliqué aux sorties de l'encodeur concaténé avec les sorties du décodeur facilite l'apprentissage des dépendances temporelles. Notre modèle est bien adapté aux applications robotiques en termes de précision et de vitesse de test, et se compare favorablement aux méthodes de pointe. Nous démontrons l'applicabilité de notre travail dans le monde réel par le biais de la tâche de suivi d'un robot, une étude de cas difficile mais pratique pour le modèle proposé.