UniGS: Modeling Unitary 3D Gaussians for Novel View Synthesis from Sparse-view Images

要約

この作業では、任意の数のスパースビュー画像からの3Dガウスの高忠実度表現を予測する、新しい3Dガウス再構築と新規ビューの合成モデルであるUnigsを紹介します。
以前の方法は、多くの場合、各ビューのピクセルあたりベースで3Dガウスをローカルに回帰し、それらを世界空間に転送し、ポイント連結を通じてマージします。
対照的に、私たちのアプローチでは、世界空間で単一の3Dガウスのモデルをモデル化し、レイヤーごとにそれらを更新することが含まれます。
単位3Dガウスを更新するためのマルチビュー入力からの情報を活用するために、3Dガウスをクエリとして扱い、複数の入力画像でマルチビューの交差点（MVDFA）を実行することによりパラメーターを実行することによりパラメーターを実行するDETR（検出トランス）のようなフレームワークを開発します。
このアプローチは、「ゴースト」の問題を効果的に回避し、より多くの3Dガウス人を複雑な地域に割り当てます。
さらに、デコーダークエリとして使用される3Dガウスの数は入力ビューの数とは無関係であるため、この方法により、メモリ爆発を引き起こすことも再訓練も必要とせずに、入力として任意の数のマルチビュー画像が許可されます。
広範な実験では、アプローチの利点を検証し、既存の方法よりも優れたパフォーマンスを定量的に紹介します（OBJAVerseで訓練され、GSOベンチマークでテストされた場合、PSNRを4.2 dB改善）および定性的に示します。
コードはhttps://github.com/jwubz123/unigでリリースされます。

要約(オリジナル)

In this work, we introduce UniGS, a novel 3D Gaussian reconstruction and novel view synthesis model that predicts a high-fidelity representation of 3D Gaussians from arbitrary number of posed sparse-view images. Previous methods often regress 3D Gaussians locally on a per-pixel basis for each view and then transfer them to world space and merge them through point concatenation. In contrast, Our approach involves modeling unitary 3D Gaussians in world space and updating them layer by layer. To leverage information from multi-view inputs for updating the unitary 3D Gaussians, we develop a DETR (DEtection TRansformer)-like framework, which treats 3D Gaussians as queries and updates their parameters by performing multi-view cross-attention (MVDFA) across multiple input images, which are treated as keys and values. This approach effectively avoids `ghosting’ issue and allocates more 3D Gaussians to complex regions. Moreover, since the number of 3D Gaussians used as decoder queries is independent of the number of input views, our method allows arbitrary number of multi-view images as input without causing memory explosion or requiring retraining. Extensive experiments validate the advantages of our approach, showcasing superior performance over existing methods quantitatively (improving PSNR by 4.2 dB when trained on Objaverse and tested on the GSO benchmark) and qualitatively. The code will be released at https://github.com/jwubz123/UNIG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google