Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting

要約

深さマップは、フィードフォワード3Dガウススプラッティング（3DG）パイプラインで広く使用されており、新しいビュー合成のために3Dポイント雲に固定していません。
このアプローチは、効率的なトレーニング、既知のカメラポーズの使用、正確なジオメトリ推定などの利点を提供します。
ただし、オブジェクトの境界での深さの不連続性は、しばしば断片化されたポイントクラウドまたはスパースクラウドにつながり、品質を低下させます。これは、深さベースの表現のよく知られている制限です。
この問題に取り組むために、事前に訓練されたトランスによって予測されるポイントマップに基づいた新しい正規化損失であるPM-Lossを紹介します。
ポイントマップ自体は深度マップよりも精度が低い場合がありますが、特にオブジェクトの境界周辺では、幾何学的な滑らかさを効果的に実施します。
改善された深度マップにより、この方法により、さまざまなアーキテクチャやシーンにわたってフィードフォワード3DGを大幅に改善し、常により良いレンダリング結果を提供します。
プロジェクトページ：https：//aim-uofa.github.io/pmloss

要約(オリジナル)

Depth maps are widely used in feed-forward 3D Gaussian Splatting (3DGS) pipelines by unprojecting them into 3D point clouds for novel view synthesis. This approach offers advantages such as efficient training, the use of known camera poses, and accurate geometry estimation. However, depth discontinuities at object boundaries often lead to fragmented or sparse point clouds, degrading rendering quality — a well-known limitation of depth-based representations. To tackle this issue, we introduce PM-Loss, a novel regularization loss based on a pointmap predicted by a pre-trained transformer. Although the pointmap itself may be less accurate than the depth map, it effectively enforces geometric smoothness, especially around object boundaries. With the improved depth map, our method significantly improves the feed-forward 3DGS across various architectures and scenes, delivering consistently better rendering results. Our project page: https://aim-uofa.github.io/PMLoss

arxiv情報

提供元, 利用サービス

arxiv.jp, Google