NAP: Neural 3D Articulation Prior

要約

我々は、3D 多関節オブジェクト モデルを合成する最初の 3D 深層生成モデルである Neural 3D Articulation Prior (NAP) を提案します。
3D オブジェクト、構図、またはシーンの生成に関する広範な研究にもかかわらず、人間とロボットのインタラクションに共通のオブジェクト カテゴリである多関節オブジェクトの分布の捕捉には依然として焦点が当てられていません。
多関節オブジェクトを生成するには、まず新しい多関節ツリー/グラフのパラメータ化を設計し、次にこの表現に拡散ノイズ除去確率モデルを適用します。この表現では、ランダムな完全なグラフからノイズ除去を介して多関節オブジェクトを生成できます。
分布が相互に影響を与える形状と運動構造の両方を捉えるために、逆拡散プロセスを学習するためのグラフ注意ノイズ除去ネットワークを設計します。
広く使用されている 3D 生成メトリクスを生成品質を評価するという新しいタスクに適応させる新しい距離を提案し、実験により多関節オブジェクト生成における高いパフォーマンスが実証されました。
また、Part2Motion、PartNet-Imagination、Motion2Part、GAPart2Object など、いくつかの条件付き生成アプリケーションもデモします。

要約(オリジナル)

We propose Neural 3D Articulation Prior (NAP), the first 3D deep generative model to synthesize 3D articulated object models. Despite the extensive research on generating 3D objects, compositions, or scenes, there remains a lack of focus on capturing the distribution of articulated objects, a common object category for human and robot interaction. To generate articulated objects, we first design a novel articulation tree/graph parameterization and then apply a diffusion-denoising probabilistic model over this representation where articulated objects can be generated via denoising from random complete graphs. In order to capture both the geometry and the motion structure whose distribution will affect each other, we design a graph-attention denoising network for learning the reverse diffusion process. We propose a novel distance that adapts widely used 3D generation metrics to our novel task to evaluate generation quality, and experiments demonstrate our high performance in articulated object generation. We also demonstrate several conditioned generation applications, including Part2Motion, PartNet-Imagination, Motion2Part, and GAPart2Object.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google