OmniControl: Control Any Joint at Any Time for Human Motion Generation

要約

我々は、拡散プロセスに基づいてテキスト条件付き人間動作生成モデルに柔軟な空間制御信号を組み込むための、OmniControl と呼ばれる新しいアプローチを紹介します。
骨盤の軌道のみを制御できる以前の方法とは異なり、OmniControl は、1 つのモデルだけで、異なる時間に異なる関節に柔軟な空間制御信号を組み込むことができます。
具体的には、生成されたモーションが入力制御信号に厳密に適合することを保証する解析的空間ガイダンスを提案します。
同時に、リアリズム ガイダンスが導入され、すべての関節がより一貫した動きを生成するように調整されます。
空間ガイドとリアリズム ガイドは両方とも不可欠であり、制御精度とモーション リアリズムのバランスをとるために非常に補完的です。
これらを組み合わせることで、OmniControl は現実的で一貫性があり、空間的制約と一致するモーションを生成します。
HumanML3D および KIT-ML データセットの実験では、OmniControl が骨盤制御に関して最先端の方法よりも大幅な改善を達成するだけでなく、他の関節に対する制約を組み込んだ場合に有望な結果を示すことが示されています。

要約(オリジナル)

We present a novel approach named OmniControl for incorporating flexible spatial control signals into a text-conditioned human motion generation model based on the diffusion process. Unlike previous methods that can only control the pelvis trajectory, OmniControl can incorporate flexible spatial control signals over different joints at different times with only one model. Specifically, we propose analytic spatial guidance that ensures the generated motion can tightly conform to the input control signals. At the same time, realism guidance is introduced to refine all the joints to generate more coherent motion. Both the spatial and realism guidance are essential and they are highly complementary for balancing control accuracy and motion realism. By combining them, OmniControl generates motions that are realistic, coherent, and consistent with the spatial constraints. Experiments on HumanML3D and KIT-ML datasets show that OmniControl not only achieves significant improvement over state-of-the-art methods on pelvis control but also shows promising results when incorporating the constraints over other joints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google