ROAM: Robust and Object-aware Motion Generation using Neural Pose Descriptors

要約

シーン インタラクションをサポートする 3D 仮想キャラクターのモーション合成に対する既存の自動アプローチは、さまざまなオブジェクトと注釈付きインタラクションを含む広範なモーション キャプチャ データセットでトレーニングされた場合でも、トレーニング分布外の新しいオブジェクトにはうまく一般化できません。
この論文はこの制限に対処し、3D オブジェクト認識キャラクタ合成における新しいシーン オブジェクトに対する堅牢性と一般化が、わずか 1 つの参照オブジェクトでモーション モデルをトレーニングすることによって達成できることを示します。
オブジェクトのみのデータセットでトレーニングされた暗黙的な特徴表現を活用し、オブジェクトの周囲の SE(3) 等変記述子フィールドをエンコードします。
目に見えないオブジェクトと参照ポーズとオブジェクトのペアが与えられた場合、特徴空間内で参照ポーズに最も近いオブジェクト認識ポーズを最適化します。
最後に、l-NSM、つまり、提案された双方向ポーズブレンディングスキームを使用して移動からオブジェクトのインタラクションにシームレスに移行するようにトレーニングされたモーション生成モデルを使用します。
最先端の手法との包括的な数値比較とユーザー調査を通じて、3D 仮想キャラクターの動作とインタラクションの品質と、目に見えないオブジェクトを含むシナリオに対する堅牢性が大幅に向上していることを実証しました。
私たちのプロジェクト ページは https://vcai.mpi-inf.mpg.de/projects/ROAM/ で利用できます。

要約(オリジナル)

Existing automatic approaches for 3D virtual character motion synthesis supporting scene interactions do not generalise well to new objects outside training distributions, even when trained on extensive motion capture datasets with diverse objects and annotated interactions. This paper addresses this limitation and shows that robustness and generalisation to novel scene objects in 3D object-aware character synthesis can be achieved by training a motion model with as few as one reference object. We leverage an implicit feature representation trained on object-only datasets, which encodes an SE(3)-equivariant descriptor field around the object. Given an unseen object and a reference pose-object pair, we optimise for the object-aware pose that is closest in the feature space to the reference pose. Finally, we use l-NSM, i.e., our motion generation model that is trained to seamlessly transition from locomotion to object interaction with the proposed bidirectional pose blending scheme. Through comprehensive numerical comparisons to state-of-the-art methods and in a user study, we demonstrate substantial improvements in 3D virtual character motion and interaction quality and robustness to scenarios with unseen objects. Our project page is available at https://vcai.mpi-inf.mpg.de/projects/ROAM/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google