PhotoReg: Photometrically Registering 3D Gaussian Splatting Models

要約

環境の正確な表現を構築することは、インテリジェント ロボットが展開中に意思決定を行うために重要です。
フォトリアリスティックな環境モデルの進歩により、ロボットが超リアルな再構成を開発できるようになり、これを使用して人間が直感的に検査できる画像を生成できます。
特に、最近導入された \ac{3DGS} は、最大数百万のプリミティブ楕円体でシーンを記述しており、リアルタイムでレンダリングできます。
\ac{3DGS} は急速に注目を集めています。
しかし、重要な未解決の問題が依然として残っています。複数の \ac{3DGS} を単一の一貫したモデルに融合するにはどうすればよいでしょうか?
この問題を解決すると、ロボット チームが周囲の \ac{3DGS} モデルを共同で構築できるようになります。
この研究の重要な洞察は、3D 構造からリアルな 2D 画像をレンダリングするフォトリアリスティックな再構成と、画像ペアから 3D 構造を予測する \emph{3D 基礎モデル} の間の {二重性} を活用することです。
この目的を達成するために、私たちは複数の写真のようにリアルな \ac{3DGS} モデルを 3D 基礎モデルに登録するフレームワークである PhotoReg を開発します。
\ac{3DGS} モデルは通常、単眼カメラの画像から構築されるため、\emph{任意のスケール} を持ちます。
これを解決するために、PhotoReg は、さまざまな \ac{3DGS} モデル内の深さの推定を考慮することで、これらのモデル間のスケールの一貫性を積極的に強化します。
次に、きめの細かい測光損失を使用して位置合わせを繰り返し調整し、高品質の融合 \ac{3DGS} モデルを生成します。
当社では、標準ベンチマーク データセットと、2 台の四足ロボットを含むカスタム収集データセットの両方で PhotoReg を厳密に評価しています。
コードは \url{ziweny11.github.io/photoreg} でリリースされています。

要約(オリジナル)

Building accurate representations of the environment is critical for intelligent robots to make decisions during deployment. Advances in photorealistic environment models have enabled robots to develop hyper-realistic reconstructions, which can be used to generate images that are intuitive for human inspection. In particular, the recently introduced \ac{3DGS}, which describes the scene with up to millions of primitive ellipsoids, can be rendered in real time. \ac{3DGS} has rapidly gained prominence. However, a critical unsolved problem persists: how can we fuse multiple \ac{3DGS} into a single coherent model? Solving this problem will enable robot teams to jointly build \ac{3DGS} models of their surroundings. A key insight of this work is to leverage the {duality} between photorealistic reconstructions, which render realistic 2D images from 3D structure, and \emph{3D foundation models}, which predict 3D structure from image pairs. To this end, we develop PhotoReg, a framework to register multiple photorealistic \ac{3DGS} models with 3D foundation models. As \ac{3DGS} models are generally built from monocular camera images, they have \emph{arbitrary scale}. To resolve this, PhotoReg actively enforces scale consistency among the different \ac{3DGS} models by considering depth estimates within these models. Then, the alignment is iteratively refined with fine-grained photometric losses to produce high-quality fused \ac{3DGS} models. We rigorously evaluate PhotoReg on both standard benchmark datasets and our custom-collected datasets, including with two quadruped robots. The code is released at \url{ziweny11.github.io/photoreg}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google