Controlling Character Motions without Observable Driving Source

要約

駆動源なしで、多様で本物そっくりの無制限の長い頭と体のシーケンスを生成するにはどうすればよいでしょうか?
私たちは、この十分に調査されていない研究問題は決して自明ではなく、その背後には独特の技術的課題があると主張します。
駆動源からのセマンティックな制約がなければ、標準的な自己回帰モデルを使用して無限に長いシーケンスを生成すると、1) 蓄積された誤差による分布外 (OOD) の問題、2) 自然で本物のような表現を生み出すには多様性が不十分という結果が容易に発生します。
モーション シーケンスと 3) 時間に沿った望ましくない周期的パターン。
上記の課題に取り組むために、VQ-VAE の利点と、慎重に設計された報酬関数を使用した強化学習で訓練された新しいトークンレベルの制御ポリシーを組み合わせた体系的なフレームワークを提案します。
高レベルの以前のモデルを上に簡単に注入して、無制限に長く多様なシーケンスを生成できます。
現在は駆動源に焦点を当てていませんが、私たちのフレームワークは明示的な駆動源を使用した制御合成に一般化できます。
包括的な評価を通じて、私たちが提案するフレームワークは上記のすべての課題に対処でき、他の強力なベースラインを大幅に上回ることができると結論付けています。

要約(オリジナル)

How to generate diverse, life-like, and unlimited long head/body sequences without any driving source? We argue that this under-investigated research problem is non-trivial at all, and has unique technical challenges behind it. Without semantic constraints from the driving sources, using the standard autoregressive model to generate infinitely long sequences would easily result in 1) out-of-distribution (OOD) issue due to the accumulated error, 2) insufficient diversity to produce natural and life-like motion sequences and 3) undesired periodic patterns along the time. To tackle the above challenges, we propose a systematic framework that marries the benefits of VQ-VAE and a novel token-level control policy trained with reinforcement learning using carefully designed reward functions. A high-level prior model can be easily injected on top to generate unlimited long and diverse sequences. Although we focus on no driving sources now, our framework can be generalized for controlled synthesis with explicit driving sources. Through comprehensive evaluations, we conclude that our proposed framework can address all the above-mentioned challenges and outperform other strong baselines very significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google