DMMGAN : Diverse Multi Motion Prediction of 3D Human Joints using Attention-Based Generative Adverserial Network (prédiction multi-mouvements des articulations humaines en 3D à l'aide d'un réseau génératif adversaire basé sur l'attention).

Résumé

La prédiction du mouvement humain est un élément fondamental de nombreuses applications homme-robot. Malgré les progrès récents dans la prédiction du mouvement humain, la plupart des études simplifient le problème en prédisant le mouvement humain par rapport à une articulation fixe et/ou limitent leur modèle à la prédiction d'un seul mouvement futur possible. Or, en raison de la nature complexe du mouvement humain, une seule sortie ne peut pas refléter toutes les actions possibles d'une personne. De plus, pour toute application robotique, nous avons besoin du mouvement humain complet, y compris de la trajectoire de l'utilisateur et non d'une pose en 3D par rapport à l'articulation de la hanche.

Dans cet article, nous essayons de résoudre ces deux problèmes en proposant un modèle génératif basé sur un transformateur pour prévoir de multiples mouvements humains divers. Notre modèle génère \textit{N} mouvements futurs possibles en interrogeant un historique de mouvements humains. Notre modèle prédit d'abord la pose du corps par rapport à l'articulation de la hanche. Ensuite, le \textit{Module de prédiction de la hanche} prédit la trajectoire du mouvement de la hanche pour chaque image de pose prédite. Pour mettre l'accent sur les divers mouvements futurs, nous introduisons une perte de similarité qui pénalise la distance entre les échantillons par paire. Nous montrons que notre système surpasse l'état de l'art en matière de prédiction du mouvement humain et qu'il peut prédire diverses trajectoires futures multi-mouvements avec des mouvements de hanche.