GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting

要約

非常にまばらなビューから 3D オブジェクトを再構築してレンダリングすることは、3D ビジョン技術の応用を促進し、ユーザー エクスペリエンスを向上させるために非常に重要です。
ただし、まばらなビューからの画像には非常に限られた 3D 情報しか含まれていないため、次の 2 つの重大な課題が生じます。1) マッチング用の画像が少なすぎるため、マルチビューの一貫性を構築することが困難。
2) ビュー カバレッジが不十分なため、オブジェクト情報が部分的に省略されているか、高度に圧縮されています。
これらの課題に取り組むために、わずか 4 つの入力画像で高いレンダリング品質を達成するガウス スプラッティングで 3D オブジェクトを表現およびレンダリングするフレームワークである GaussianObject を提案します。
まず、視覚的なハルとフローターの除去技術を導入します。これは、構造事前分布を初期の最適化プロセスに明示的に注入して、マルチビューの一貫性を構築し、粗い 3D ガウス表現を生成します。
次に、省略されたオブジェクト情報を補うために拡散モデルに基づいてガウス修復モデルを構築し、ガウスがさらに洗練されます。
修復モデルをトレーニングするための画像ペアを取得するための自己生成戦略を設計します。
さらに、事前に指定された正確なカメラ ポーズが不要な COLMAP フリーのバリアントを設計します。これにより、競争力のある品質が実現され、より幅広いアプリケーションが容易になります。
GaussianObject は、MipNeRF360、OmniObject3D、OpenIllumination、および収集されたポーズなし画像を含むいくつかの困難なデータセットで評価され、わずか 4 つのビューから優れたパフォーマンスを達成し、以前の SOTA メソッドを大幅に上回りました。
私たちのデモは https://gaussianobject.github.io/ で入手でき、コードは https://github.com/GaussianObject/GaussianObject でリリースされています。

要約(オリジナル)

Reconstructing and rendering 3D objects from highly sparse views is of critical importance for promoting applications of 3D vision techniques and improving user experience. However, images from sparse views only contain very limited 3D information, leading to two significant challenges: 1) Difficulty in building multi-view consistency as images for matching are too few; 2) Partially omitted or highly compressed object information as view coverage is insufficient. To tackle these challenges, we propose GaussianObject, a framework to represent and render the 3D object with Gaussian splatting that achieves high rendering quality with only 4 input images. We first introduce techniques of visual hull and floater elimination, which explicitly inject structure priors into the initial optimization process to help build multi-view consistency, yielding a coarse 3D Gaussian representation. Then we construct a Gaussian repair model based on diffusion models to supplement the omitted object information, where Gaussians are further refined. We design a self-generating strategy to obtain image pairs for training the repair model. We further design a COLMAP-free variant, where pre-given accurate camera poses are not required, which achieves competitive quality and facilitates wider applications. GaussianObject is evaluated on several challenging datasets, including MipNeRF360, OmniObject3D, OpenIllumination, and our-collected unposed images, achieving superior performance from only four views and significantly outperforming previous SOTA methods. Our demo is available at https://gaussianobject.github.io/, and the code has been released at https://github.com/GaussianObject/GaussianObject.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google