Splatter Image: Ultra-Fast Single-View 3D Reconstruction

要約

単眼 3D オブジェクト再構築のための超効率的なアプローチである \method を紹介します。
スプラッター イメージはガウス スプラッティングに基づいており、複数のイメージから 3D シーンを高速かつ高品質に再構築できます。
テスト時にフィードフォワード方式で 38 FPS で再構成を実行するニューラル ネットワークを学習することにより、ガウス スプラッティングを単眼再構成に適用します。
私たちの主な革新は、このネットワークの驚くほど単純な設計であり、2D 演算子を使用して、入力画像をピクセルごとに 1 つの 3D ガウスにマッピングします。
したがって、結果として得られるガウスのセットは、スプラッタ イメージというイメージの形式になります。
この方法をさらに拡張し、クロスビュー アテンションを介して複数の画像を入力として取得します。
レンダラーの速度 (588 FPS) を考慮して、トレーニングに単一の GPU を使用し、反復ごとに画像全体を生成して、LPIPS などの知覚メトリクスを最適化します。
いくつかの合成、実数、マルチカテゴリ、大規模ベンチマーク データセットで、以前の研究よりもはるかに高速にトレーニングと評価を行いながら、PSNR、LPIPS、その他の指標に関してより良い結果を達成しました。
コード、モデル、デモ、その他の結果は https://szymanowiczs.github.io/splatter-image で入手できます。

要約(オリジナル)

We introduce the \method, an ultra-efficient approach for monocular 3D object reconstruction. Splatter Image is based on Gaussian Splatting, which allows fast and high-quality reconstruction of 3D scenes from multiple images. We apply Gaussian Splatting to monocular reconstruction by learning a neural network that, at test time, performs reconstruction in a feed-forward manner, at 38 FPS. Our main innovation is the surprisingly straightforward design of this network, which, using 2D operators, maps the input image to one 3D Gaussian per pixel. The resulting set of Gaussians thus has the form an image, the Splatter Image. We further extend the method take several images as input via cross-view attention. Owning to the speed of the renderer (588 FPS), we use a single GPU for training while generating entire images at each iteration to optimize perceptual metrics like LPIPS. On several synthetic, real, multi-category and large-scale benchmark datasets, we achieve better results in terms of PSNR, LPIPS, and other metrics while training and evaluating much faster than prior works. Code, models, demo and more results are available at https://szymanowiczs.github.io/splatter-image.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google