Programmable Motion Generation for Open-Set Motion Control Tasks

要約

現実世界のシナリオにおけるキャラクター アニメーションには、軌跡、キーフレーム、インタラクションなどのさまざまな制約が必要です。既存の方法論では通常、これらの制約の単一または有限セットが別個の制御タスクとして扱われます。
多くの場合、それらは特殊化されており、それらが扱うタスクはほとんど拡張またはカスタマイズできません。
これらをクローズセットモーションコントロール問題の解決策として分類します。
実際の運動制御の複雑さに応じて、我々は開集合運動制御問題を提案し、その解決を試みます。
この問題は、オープンで完全にカスタマイズ可能な一連のモーション コントロール タスクによって特徴付けられます。
これに対処するために、プログラマブル モーション生成という新しいパラダイムを導入します。
このパラダイムでは、特定のモーション制御タスクは、アトミックな制約の組み合わせに分割されます。
これらの制約は、モーション シーケンスがどの程度制約に従うかを定量化する誤差関数にプログラムされます。
事前にトレーニングされたモーション生成モデルを利用し、その潜在コードを最適化して、生成されたモーションの誤差関数を最小限に抑えます。
その結果、生成されたモーションは生成モデルの事前を継承するだけでなく、必要な制約も満たします。
実験により、目に見えないさまざまなタスクに対処するときに高品質のモーションを生成できることがわかりました。
これらのタスクには、モーション ダイナミクス、幾何学的制約、物理法則、シーン、オブジェクト、またはキャラクター自身の身体部分との相互作用などによるモーション コントロールが含まれます。これらはすべて、アドホックなペアのトレーニング データ収集を必要とせず、統一されたアプローチで達成されます。
または特殊なネットワーク設計。
新しいタスクのプログラミング中に、以前のモデルを超えた新しいスキルの出現を観察しました。
大規模な言語モデルの支援により、自動プログラミングも実現しました。
この研究が一般的な AI エージェントのモーション制御への道を開くことを期待しています。

要約(オリジナル)

Character animation in real-world scenarios necessitates a variety of constraints, such as trajectories, key-frames, interactions, etc. Existing methodologies typically treat single or a finite set of these constraint(s) as separate control tasks. They are often specialized, and the tasks they address are rarely extendable or customizable. We categorize these as solutions to the close-set motion control problem. In response to the complexity of practical motion control, we propose and attempt to solve the open-set motion control problem. This problem is characterized by an open and fully customizable set of motion control tasks. To address this, we introduce a new paradigm, programmable motion generation. In this paradigm, any given motion control task is broken down into a combination of atomic constraints. These constraints are then programmed into an error function that quantifies the degree to which a motion sequence adheres to them. We utilize a pre-trained motion generation model and optimize its latent code to minimize the error function of the generated motion. Consequently, the generated motion not only inherits the prior of the generative model but also satisfies the required constraints. Experiments show that we can generate high-quality motions when addressing a wide range of unseen tasks. These tasks encompass motion control by motion dynamics, geometric constraints, physical laws, interactions with scenes, objects or the character own body parts, etc. All of these are achieved in a unified approach, without the need for ad-hoc paired training data collection or specialized network designs. During the programming of novel tasks, we observed the emergence of new skills beyond those of the prior model. With the assistance of large language models, we also achieved automatic programming. We hope that this work will pave the way for the motion control of general AI agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google