SYM3D: Learning Symmetric Triplanes for Better 3D-Awareness of GANs

要約

2D 画像でトレーニングして高品質の 3D アセットを生成できる 3D 対応 GAN の成功が増えているにもかかわらず、すべての視野方向から十分な詳細を合成するには、依然としてカメラの注釈を備えたマルチビュー画像に依存しています。
しかし、特に単視点画像と比較して、調整された多視点画像データセットが入手困難であるため、3D GAN の可能性が限られています。
さらに、カメラ分布制約を使用してカメラ ポーズ アノテーションをバイパスすると、正確なカメラ パラメーターへの依存が軽減されますが、3D アセットの一貫した方向を生成するのは依然として困難です。
この目的を達成するために、私たちは、3D 表現を学習する際に提案されているビューを意識した空間注意メカニズムと並行して、自然物や人工物に見られる一般的な鏡映対称構造を活用するように設計された新しい 3D 認識 GAN である SYM3D を提案します。
私たちは合成データセット (ShapeNet 椅子、車、飛行機) と現実世界のデータセット (ABO 椅子) の両方で SYM3D を評価し、シングルビュー画像のみでトレーニングした場合でも、詳細なジオメトリとテクスチャのキャプチャにおける優れたパフォーマンスを実証しました。
最後に、テキストから 3D へのタスクにおける 3D アセットのモデリングにおけるアーティファクトの削減に、対称正則化を組み込むことの有効性を示します。

要約(オリジナル)

Despite the growing success of 3D-aware GANs, which can be trained on 2D images to generate high-quality 3D assets, they still rely on multi-view images with camera annotations to synthesize sufficient details from all viewing directions. However, the scarce availability of calibrated multi-view image datasets, especially in comparison to single-view images, has limited the potential of 3D GANs. Moreover, while bypassing camera pose annotations with a camera distribution constraint reduces dependence on exact camera parameters, it still struggles to generate a consistent orientation of 3D assets. To this end, we propose SYM3D, a novel 3D-aware GAN designed to leverage the prevalent reflectional symmetry structure found in natural and man-made objects, alongside a proposed view-aware spatial attention mechanism in learning the 3D representation. We evaluate SYM3D on both synthetic (ShapeNet Chairs, Cars, and Airplanes) and real-world datasets (ABO-Chair), demonstrating its superior performance in capturing detailed geometry and texture, even when trained on only single-view images. Finally, we demonstrate the effectiveness of incorporating symmetry regularization in helping reduce artifacts in the modeling of 3D assets in the text-to-3D task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google