Towards Affordance-Aware Articulation Synthesis for Rigged Objects

要約

リグ付きオブジェクトは、さまざまなシーンや姿勢に柔軟に適応できるため、アーティストのパイプラインでよく使用されます。
ただし、リグを現実的なアフォーダンスを意識した姿勢（たとえば、コンテキストに従う、オブジェクトの物理学や個性を尊重する）に表現するには依然として時間がかかり、経験豊富なアーティストによる人力に大きく依存しています。
この論文では、新しい問題に取り組み、A3Syn を設計します。
環境メッシュや望ましい姿勢のテキスト プロンプトなどの特定のコンテキストを使用して、A3Syn は、インターネットから取得した任意のオープン ドメイン リグオブジェクトのアーティキュレーション パラメーターを合成します。
トレーニング データが不足しているため、このタスクは非常に困難であり、オープン ドメイン リグについてはトポロジカルな仮定をまったく行っていません。
我々は、2D修復拡散モデルといくつかの制御技術を使用して、コンテキスト内のアフォーダンス情報を合成することを提案します。
次に、微分可能なレンダリングと意味論的対応の組み合わせを使用して、効率的なボーン対応アライメントを開発します。
A3Syn は安定したコンバージェンスを備え、数分で完了し、実際のオブジェクト リグとシーンのさまざまな組み合わせで妥当なアフォーダンスを合成します。

要約(オリジナル)

Rigged objects are commonly used in artist pipelines, as they can flexibly adapt to different scenes and postures. However, articulating the rigs into realistic affordance-aware postures (e.g., following the context, respecting the physics and the personalities of the object) remains time-consuming and heavily relies on human labor from experienced artists. In this paper, we tackle the novel problem and design A3Syn. With a given context, such as the environment mesh and a text prompt of the desired posture, A3Syn synthesizes articulation parameters for arbitrary and open-domain rigged objects obtained from the Internet. The task is incredibly challenging due to the lack of training data, and we do not make any topological assumptions about the open-domain rigs. We propose using 2D inpainting diffusion model and several control techniques to synthesize in-context affordance information. Then, we develop an efficient bone correspondence alignment using a combination of differentiable rendering and semantic correspondence. A3Syn has stable convergence, completes in minutes, and synthesizes plausible affordance on different combinations of in-the-wild object rigs and scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google