ASSR-NeRF: Arbitrary-Scale Super-Resolution on Voxel Grid for High-Quality Radiance Fields Reconstruction

要約

NeRF ベースの方法は、暗黙的または明示的な表現で放射フィールドを構築することによって 3D シーンを再構築します。
NeRF ベースの手法では、任意のスケールで新規ビュー合成 (NVS) を実行できますが、低解像度 (LR) 最適化を伴う高解像度新規ビュー合成 (HRNVS) のパフォーマンスは、過度の平滑化を引き起こすことがよくあります。
一方、単一画像の超解像度 (SR) は、LR 画像を HR の画像に合わせて強化することを目的としていますが、マルチビューの一貫性が欠けています。
これらの課題に対処するために、我々は超解像度新規ビュー合成 (SRNVS) のための新しいフレームワークである任意スケール超解像度 NeRF (ASSR-NeRF) を提案します。
最適化されたボリューム上で 3D 超解像度 (SR) を直接実行するためのアテンションベースの VoxelGridSR モデルを提案します。
私たちのモデルは、一般化可能性を確保するために、さまざまなシーンでトレーニングされています。
LR ビューでトレーニングされた目に見えないシーンの場合、VoxelGridSR を直接適用してボリュームをさらに調整し、マルチビューの一貫した SR を実現できます。
提案された方法が SRNVS で顕著なパフォーマンスを達成することを定量的および定性的に実証します。

要約(オリジナル)

NeRF-based methods reconstruct 3D scenes by building a radiance field with implicit or explicit representations. While NeRF-based methods can perform novel view synthesis (NVS) at arbitrary scale, the performance in high-resolution novel view synthesis (HRNVS) with low-resolution (LR) optimization often results in oversmoothing. On the other hand, single-image super-resolution (SR) aims to enhance LR images to HR counterparts but lacks multi-view consistency. To address these challenges, we propose Arbitrary-Scale Super-Resolution NeRF (ASSR-NeRF), a novel framework for super-resolution novel view synthesis (SRNVS). We propose an attention-based VoxelGridSR model to directly perform 3D super-resolution (SR) on the optimized volume. Our model is trained on diverse scenes to ensure generalizability. For unseen scenes trained with LR views, we then can directly apply our VoxelGridSR to further refine the volume and achieve multi-view consistent SR. We demonstrate quantitative and qualitatively that the proposed method achieves significant performance in SRNVS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google