MotionScript: Natural Language Descriptions for Expressive 3D Human Motions

要約

この論文では、モーションからテキストへの変換アルゴリズムと人体の動きの自然言語表現である MotionScript を提案します。
MotionScript は、これまでの自然言語アプローチよりも詳細かつ正確に動きを記述することを目的としています。
多くのモーション データセットは、表現方法にほとんど変化がなく、比較的客観的で単純な動作 (座る、歩く、ボールをドリブルするなど) を記述します。
ただし、クラス内のさまざまな動きを含む表現アクション (例: 悲しい、踊る)、または標準モーション キャプチャ データセットの領域外のアクション (例: 文体の歩行、手話) の場合、より具体的で詳細な自然言語の記述が必要です。
必要です。
私たちが提案する MotionScript 記述は、単純なアクション ラベルや人間による高レベルのキャプションではなく、自然言語で直接記述を提供するという点で、既存の自然言語表現とは異なります。
私たちの知る限り、これはトレーニング データを必要とせずに 3D モーションを自然言語記述に変換する最初の試みです。
私たちの実験では、MotionScript 表現をテキストからモーションへのニューラル タスクで使用すると、身体の動きがより正確に再構築され、大規模な言語モデルを使用して目に見えない複雑なモーションを生成できることが示されました。

要約(オリジナル)

This paper proposes MotionScript, a motion-to-text conversion algorithm and natural language representation for human body motions. MotionScript aims to describe movements in greater detail and with more accuracy than previous natural language approaches. Many motion datasets describe relatively objective and simple actions with little variation on the way they are expressed (e.g. sitting, walking, dribbling a ball). But for expressive actions that contain a diversity of movements in the class (e.g. being sad, dancing), or for actions outside the domain of standard motion capture datasets (e.g. stylistic walking, sign-language), more specific and granular natural language descriptions are needed. Our proposed MotionScript descriptions differ from existing natural language representations in that it provides direct descriptions in natural language instead of simple action labels or high-level human captions. To the best of our knowledge, this is the first attempt at translating 3D motions to natural language descriptions without requiring training data. Our experiments show that when MotionScript representations are used in a text-to-motion neural task, body movements are more accurately reconstructed, and large language models can be used to generate unseen complex motions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google