GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

要約

非常にまばらなビューから 3D オブジェクトを再構築してレンダリングすることは、3D ビジョン技術の応用を促進し、ユーザー エクスペリエンスを向上させるために非常に重要です。
ただし、まばらなビューからの画像には非常に限られた 3D 情報しか含まれていないため、次の 2 つの重大な課題が生じます。1) マッチング用の画像が少なすぎるため、マルチビューの一貫性を構築することが困難。
2) ビュー カバレッジが不十分なため、オブジェクト情報が部分的に省略されているか、高度に圧縮されています。
これらの課題に取り組むために、私たちは、ガウス スプラッティングで 3D オブジェクトを表現およびレンダリングするフレームワークである GaussianObject を提案します。これは、わずか 4 つの入力画像で高いレンダリング品質を実現します。
まず、視覚的なハルとフローターを除去する手法を導入します。これは、初期最適化プロセスに構造事前分布を明示的に注入して、マルチビューの一貫性を構築し、粗い 3D ガウス表現を生成します。
次に、省略されたオブジェクト情報を補うために拡散モデルに基づいてガウス修復モデルを構築し、ガウスがさらに洗練されます。
修復モデルをトレーニングするための画像ペアを取得するための自己生成戦略を設計します。
当社の GaussianObject は、MipNeRF360、OmniObject3D、OpenIllumination などのいくつかの困難なデータセットで評価され、わずか 4 つのビューから強力な再構成結果を達成し、以前の最先端の手法を大幅に上回りました。

要約(オリジナル)

Reconstructing and rendering 3D objects from highly sparse views is of critical importance for promoting applications of 3D vision techniques and improving user experience. However, images from sparse views only contain very limited 3D information, leading to two significant challenges: 1) Difficulty in building multi-view consistency as images for matching are too few; 2) Partially omitted or highly compressed object information as view coverage is insufficient. To tackle these challenges, we propose GaussianObject, a framework to represent and render the 3D object with Gaussian splatting, that achieves high rendering quality with only 4 input images. We first introduce techniques of visual hull and floater elimination which explicitly inject structure priors into the initial optimization process for helping build multi-view consistency, yielding a coarse 3D Gaussian representation. Then we construct a Gaussian repair model based on diffusion models to supplement the omitted object information, where Gaussians are further refined. We design a self-generating strategy to obtain image pairs for training the repair model. Our GaussianObject is evaluated on several challenging datasets, including MipNeRF360, OmniObject3D, and OpenIllumination, achieving strong reconstruction results from only 4 views and significantly outperforming previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google