Splatter Image: Ultra-Fast Single-View 3D Reconstruction

要約

38 FPS で動作する単眼 3D オブジェクト再構成の超高速アプローチである Splatter Image を紹介します。
スプラッター イメージはガウス スプラッティングに基づいており、最近ではマルチビューの再構成にリアルタイム レンダリング、高速トレーニング、優れたスケーリングをもたらしました。
初めて、単眼再構成設定でガウス スプラッティングを適用します。
私たちのアプローチは学習ベースであり、テスト時の再構築にはニューラル ネットワークのフィードフォワード評価のみが必要です。
Splatter Image の主な革新は、驚くほど単純な設計です。2D 画像間ネットワークを使用して、入力画像をピクセルごとに 1 つの 3D ガウスにマッピングします。
したがって、結果として得られるガウス分布は、スプラッター イメージというイメージの形式になります。
この方法をさらに拡張して、複数の画像を入力として組み込むことができます。これは、クロスビューの注意を追加することで行います。
レンダラーの速度 (588 FPS) を利用して、LPIPS などの知覚メトリクスを最適化するために、反復ごとに画像全体を生成しながらトレーニングに単一の GPU を使用できます。
標準ベンチマークでは、再構築が高速であるだけでなく、PSNR、LPIPS、その他のメトリクスに関して、最近のより高価なベースラインよりも優れた結果が得られることを実証しています。

要約(オリジナル)

We introduce the Splatter Image, an ultra-fast approach for monocular 3D object reconstruction which operates at 38 FPS. Splatter Image is based on Gaussian Splatting, which has recently brought real-time rendering, fast training, and excellent scaling to multi-view reconstruction. For the first time, we apply Gaussian Splatting in a monocular reconstruction setting. Our approach is learning-based, and, at test time, reconstruction only requires the feed-forward evaluation of a neural network. The main innovation of Splatter Image is the surprisingly straightforward design: it uses a 2D image-to-image network to map the input image to one 3D Gaussian per pixel. The resulting Gaussians thus have the form of an image, the Splatter Image. We further extend the method to incorporate more than one image as input, which we do by adding cross-view attention. Owning to the speed of the renderer (588 FPS), we can use a single GPU for training while generating entire images at each iteration in order to optimize perceptual metrics like LPIPS. On standard benchmarks, we demonstrate not only fast reconstruction but also better results than recent and much more expensive baselines in terms of PSNR, LPIPS, and other metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google