要約
この論文では、参照画像を与えて点群を 3D ガウスにペイントする最初の方法である GaussianPainter を紹介します。
GaussianPainter は、3D ガウス スプラッティングにおける時間のかかるテスト時間の最適化の制限を克服する革新的なフィードフォワード アプローチを導入しています。
私たちの方法は、この分野における重大な課題、つまり 3D ガウス スプラッティングの大きなパラメータ空間に固有の非一意性の問題に対処します。
回転、異方性スケール、球面調和係数を含むこの空間では、実質的に異なるガウス フィールドから同様の画像をレンダリングするという課題が生じます。
その結果、フィードフォワード ネットワークは、高品質のガウス場を直接予測しようとすると不安定に直面し、特定の出力に対して一貫したパラメーターに収束するのに苦労します。
この問題に対処するために、各点の表面法線を推定してそのガウス回転を決定することを提案します。
この戦略により、ネットワークは制約された空間内の残りのガウス パラメーターを効果的に予測できます。
マルチスケール トリプレーン表現を介して参照画像の外観をガウス フィールドに組み込む、外観注入モジュールを使用してアプローチをさらに強化します。
私たちの手法は、3D ガウス生成の効率と忠実性のバランスに成功し、単一の前方パスで点群からの高品質で多様かつ堅牢な 3D コンテンツの作成を実現します。
要約(オリジナル)
In this paper, we present GaussianPainter, the first method to paint a point cloud into 3D Gaussians given a reference image. GaussianPainter introduces an innovative feed-forward approach to overcome the limitations of time-consuming test-time optimization in 3D Gaussian splatting. Our method addresses a critical challenge in the field: the non-uniqueness problem inherent in the large parameter space of 3D Gaussian splatting. This space, encompassing rotation, anisotropic scales, and spherical harmonic coefficients, introduces the challenge of rendering similar images from substantially different Gaussian fields. As a result, feed-forward networks face instability when attempting to directly predict high-quality Gaussian fields, struggling to converge on consistent parameters for a given output. To address this issue, we propose to estimate a surface normal for each point to determine its Gaussian rotation. This strategy enables the network to effectively predict the remaining Gaussian parameters in the constrained space. We further enhance our approach with an appearance injection module, incorporating reference image appearance into Gaussian fields via a multiscale triplane representation. Our method successfully balances efficiency and fidelity in 3D Gaussian generation, achieving high-quality, diverse, and robust 3D content creation from point clouds in a single forward pass.
arxiv情報
| 著者 | Jingqiu Zhou,Lue Fan,Xuesong Chen,Linjiang Huang,Si Liu,Hongsheng Li |
| 発行日 | 2024-12-23 16:45:37+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google