Institut de l'intelligence artificielle de l'Alberta

DMMGAN : Diverse Multi Motion Prediction of 3D Human Joints using Attention-Based Generative Adverserial Network (prédiction multi-mouvements des articulations humaines en 3D à l'aide d'un réseau génératif adversaire basé sur l'attention).

Publié

10 octobre 2024

Catégories

Apprentissage profond

Domaines de recherche

Apprentissage en profondeur (DL)

Résumé

La prédiction des mouvements du corps humain est un élément fondamental de nombreuses applications homme-robot. Malgré les progrès récents dans ce domaine, la plupart des études prédisent les mouvements du corps humain par rapport à une articulation fixe, limitent leur modèle à la prédiction d'un seul mouvement futur possible, ou les deux. Cependant, en raison de la nature complexe du mouvement humain, une seule prédiction ne peut pas refléter de manière adéquate les nombreux mouvements possibles. En outre, pour toute application robotique, il est nécessaire de prédire le mouvement complet du corps humain, y compris la trajectoire absolue en 3D, et pas seulement la position du corps en 3D par rapport à l'articulation de la hanche. Dans cet article, nous tentons de remédier à ces deux lacunes en proposant un modèle génératif basé sur un transformateur pour prévoir plusieurs mouvements humains différents. Notre modèle génère N futurs mouvements corporels possibles à partir de l'historique des mouvements humains. Pour ce faire, nous commençons par prédire la position du corps par rapport à l'articulation de la hanche, comme nous l'avons fait dans des travaux antérieurs. Ensuite, le module de prédiction de la hanche que nous proposons prédit la trajectoire de la position de la hanche par rapport à un cadre de référence global pour chaque cadre de pose prédit, un aspect du mouvement du corps humain négligé par les travaux antérieurs. Pour obtenir un ensemble de mouvements prédits divers, nous introduisons une perte de similarité qui pénalise la distance d'échantillonnage par paire. Notre système est non seulement plus performant que l'état de l'art en matière de prédiction des mouvements humains, mais il est également capable de prédire un ensemble varié de mouvements futurs du corps humain, y compris la trajectoire de la hanche.

Auteurs

Payam Nikdel

Mohammad Mahdavian

Mo Chen

Partager