Bridging the Gap between Human Motion and Action Semantics via Kinematic Phrases

要約

モーション理解の目標は、モーションとアクションのセマンティクスの間の信頼できるマッピングを確立することですが、これは多対多の困難な問題です。
抽象的なアクションのセマンティクス (つまり、前に歩く) は、知覚的に多様なモーション (腕を上げて歩く、または振りながら歩く) によって伝えることができますが、モーションは、動作に関するさまざまなセマンティクスを伝えることができます。
その文脈と意図。
これにより、それらの間のエレガントなマッピングが困難になります。
以前の試みでは、信頼性が限られたダイレクト マッピング パラダイムが採用されていました。
また、現在の自動メトリクスは、モーションとアクションのセマンティクスの間の一貫性の信頼できる評価を提供できません。
私たちは、これらの問題の原因が 2 つのモダリティ間の大きなギャップであることを特定します。
このギャップを軽減するために、適切な抽象化、解釈可能性、および一般性の特性を備えた人間の動きの客観的な運動学的事実を考慮したキネマティック フレーズ (KP) を提案します。
KPを媒介として動作知識ベースを統合し、動作理解システムを構築します。
一方、KP は主観的な偏見を持たずにモーションからテキスト記述に自動的に変換でき、新しい自動モーション生成ベンチマークとしてキネマティック プロンプト生成 (KPG) を刺激します。
広範な実験により、私たちのアプローチは他の方法よりも優れていることがわかりました。
私たちのコードとデータは https://foruck.github.io/KP で公開されます。

要約(オリジナル)

The goal of motion understanding is to establish a reliable mapping between motion and action semantics, while it is a challenging many-to-many problem. An abstract action semantic (i.e., walk forwards) could be conveyed by perceptually diverse motions (walk with arms up or swinging), while a motion could carry different semantics w.r.t. its context and intention. This makes an elegant mapping between them difficult. Previous attempts adopted direct-mapping paradigms with limited reliability. Also, current automatic metrics fail to provide reliable assessments of the consistency between motions and action semantics. We identify the source of these problems as the significant gap between the two modalities. To alleviate this gap, we propose Kinematic Phrases (KP) that take the objective kinematic facts of human motion with proper abstraction, interpretability, and generality characteristics. Based on KP as a mediator, we can unify a motion knowledge base and build a motion understanding system. Meanwhile, KP can be automatically converted from motions and to text descriptions with no subjective bias, inspiring Kinematic Prompt Generation (KPG) as a novel automatic motion generation benchmark. In extensive experiments, our approach shows superiority over other methods. Our code and data would be made publicly available at https://foruck.github.io/KP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google