要約
一連の自然言語記述が与えられた場合、私たちのタスクは、意味的にテキストに対応する 3D 人間の動きを生成し、指示の時間的順序に従うことです。
特に、私たちの目標は、一連のアクションの統合を可能にすることです。これは、一時的なアクション構成と呼ばれます。
テキスト条件付きのモーション合成における現在の最先端技術は、入力として単一のアクションまたは単一の文のみを受け取ります。
これは、部分的にはアクション シーケンスを含む適切なトレーニング データが不足していることによるものですが、非自己回帰モデルの定式化の計算上の複雑さも原因であり、長いシーケンスにうまくスケーリングできません。
この作業では、両方の問題に対処します。
まず、最近の BABEL モーション テキスト コレクションを活用します。これには、さまざまなラベル付きアクションが含まれており、その多くは、アクション間の遷移を伴うシーケンスで発生します。
次に、アクション内では非自己回帰的に動作するが、一連のアクション内では自己回帰的に動作する Transformer ベースのアプローチを設計します。
この階層的な定式化は、複数のベースラインと比較した場合、実験で効果的であることが証明されています。
‘Temporal Action Compositions for Human Motions’ の TEACH と呼ばれる私たちのアプローチは、言語記述から多種多様なアクションと時間的構成に対する現実的な人間の動きを生成します。
この新しいタスクへの取り組みを促進するために、$\href{teach.is.tue.mpg.de}{\text{website}}$ でコードを調査目的で利用できるようにしています。
要約(オリジナル)
Given a series of natural language descriptions, our task is to generate 3D human motions that correspond semantically to the text, and follow the temporal order of the instructions. In particular, our goal is to enable the synthesis of a series of actions, which we refer to as temporal action composition. The current state of the art in text-conditioned motion synthesis only takes a single action or a single sentence as input. This is partially due to lack of suitable training data containing action sequences, but also due to the computational complexity of their non-autoregressive model formulation, which does not scale well to long sequences. In this work, we address both issues. First, we exploit the recent BABEL motion-text collection, which has a wide range of labeled actions, many of which occur in a sequence with transitions between them. Next, we design a Transformer-based approach that operates non-autoregressively within an action, but autoregressively within the sequence of actions. This hierarchical formulation proves effective in our experiments when compared with multiple baselines. Our approach, called TEACH for ‘TEmporal Action Compositions for Human motions’, produces realistic human motions for a wide variety of actions and temporal compositions from language descriptions. To encourage work on this new task, we make our code available for research purposes at our $\href{teach.is.tue.mpg.de}{\text{website}}$.
arxiv情報
| 著者 | Nikos Athanasiou,Mathis Petrovich,Michael J. Black,Gül Varol |
| 発行日 | 2022-09-12 16:34:20+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google