GET3D–: Learning GET3D from Unconstrained Image Collections

要約

3D モデルの手動作成には時間がかかり、専門知識が必要となるため、効率的な 3D モデル生成技術に対する需要が飛躍的に高まっています。
生成モデルは 2D 画像から 3D テクスチャ形状を作成する可能性を示していますが、現実世界のシナリオでは明確に定義されたカメラ分布が欠如しているため、3D 産業への適用性は限られており、その結果低品質の形状が生成されます。
この制限を克服するために、未知のポーズとスケールを持つ 2D 画像からテクスチャ付き 3D 形状を直接生成する最初の方法である GET3D — を提案します。
GET3D — 3D 形状ジェネレーターと、カメラ上の 6D 外部変化をキャプチャーする学習可能なカメラ サンプラーで構成されます。
さらに、統一されたフレームワークで形状ジェネレーターとカメラサンプラーの両方を安定して最適化するための新しいトレーニングスケジュールを提案します。
学習可能なカメラサンプラーを使用して外部変動を制御することにより、私たちの手法は、鮮明なテクスチャを持つ整列した形状を生成できます。
広範な実験により、GET3D の有効性が実証されました。GET3D は 6D カメラのポーズ分布に正確に適合し、合成データセットと現実的な制約のないデータセットの両方で高品質の形状を生成します。

要約(オリジナル)

The demand for efficient 3D model generation techniques has grown exponentially, as manual creation of 3D models is time-consuming and requires specialized expertise. While generative models have shown potential in creating 3D textured shapes from 2D images, their applicability in 3D industries is limited due to the lack of a well-defined camera distribution in real-world scenarios, resulting in low-quality shapes. To overcome this limitation, we propose GET3D–, the first method that directly generates textured 3D shapes from 2D images with unknown pose and scale. GET3D– comprises a 3D shape generator and a learnable camera sampler that captures the 6D external changes on the camera. In addition, We propose a novel training schedule to stably optimize both the shape generator and camera sampler in a unified framework. By controlling external variations using the learnable camera sampler, our method can generate aligned shapes with clear textures. Extensive experiments demonstrate the efficacy of GET3D–, which precisely fits the 6D camera pose distribution and generates high-quality shapes on both synthetic and realistic unconstrained datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google