PoseFix: Correcting 3D Human Poses with Natural Language

要約

姿勢を修正するための指示を自動的に生成できれば、個別化されたコーチングや家庭での理学療法など、無限の応用への扉が開かれる可能性があります。
逆の問題に取り組む (つまり、自然言語フィードバックに基づいて 3D ポーズを調整する) と、たとえば、支援付き 3D キャラクター アニメーションやロボットの教育に役立つ可能性があります。
最近の研究では、自然言語と人間の 3D ポーズの関係を調査したものはいくつかありますが、3D 体のポーズの違いの説明に焦点を当てたものはありません。
この論文では、自然言語を使用して 3D 人間のポーズを修正するという問題に取り組みます。
この目的を達成するために、PoseFix データセットを導入します。このデータセットは、数千のペアの 3D ポーズとそれに対応するテキスト フィードバックで構成され、ターゲット ポーズを取得するためにソース ポーズをどのように変更する必要があるかを記述します。
このデータセットの可能性を 2 つのタスクで実証します。(1) クエリ ポーズとテキスト修飾子を指定して修正された 3D ボディ ポーズを生成することを目的としたテキスト ベースのポーズ編集。
(2) 修正テキストの生成。2 つの体のポーズの違いに基づいて指示が生成されます。

要約(オリジナル)

Automatically producing instructions to modify one’s posture could open the door to endless applications, such as personalized coaching and in-home physical therapy. Tackling the reverse problem (i.e., refining a 3D pose based on some natural language feedback) could help for assisted 3D character animation or robot teaching, for instance. Although a few recent works explore the connections between natural language and 3D human pose, none focus on describing 3D body pose differences. In this paper, we tackle the problem of correcting 3D human poses with natural language. To this end, we introduce the PoseFix dataset, which consists of several thousand paired 3D poses and their corresponding text feedback, that describe how the source pose needs to be modified to obtain the target pose. We demonstrate the potential of this dataset on two tasks: (1) text-based pose editing, that aims at generating corrected 3D body poses given a query pose and a text modifier; and (2) correctional text generation, where instructions are generated based on the differences between two body poses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google