Finding Waldo: Towards Efficient Exploration of NeRF Scene Space

要約

Neural Radiance Fields (NeRF) は、その優れたパフォーマンスにより、近年急速に 3D 再構成と新しいビュー合成の主要なアプローチになりました。
NeRF 手法に対する大きな関心にもかかわらず、NeRF の実際の使用例はほとんど無視されてきました。
NeRF によってモデル化されたシーン空間の探索。
この論文では、文献で初めて、シーン探索フレームワークを提案し、正式に定義します。これは、NeRF モデル入力 (つまり、座標と視野角) の効率的な発見であり、これを使用して、ユーザーが選択したものに準拠した新しいビューをレンダリングできます。
基準。
シーン探索に対処するアプローチの不足を補うために、まず、ガイド付きランダム検索 (GRS) とポーズ補間ベースの検索 (PIBS) と呼ばれる 2 つのベースライン手法を提案します。
次に、シーン探索を最適化問題として位置づけ、効率的な探索のために基準に依存しない進化ガイド付きポーズ検索 (EGPS) を提案します。
3 つのアプローチすべてをさまざまな基準 (顕著性の最大化、画質の最大化、写真合成の品質の向上など) でテストし、EGPS が他のベースラインよりも良好に機能することを示します。
最後に、重要なポイントと制限を強調し、シーン探索における将来の研究の方向性を概説します。

要約(オリジナル)

Neural Radiance Fields (NeRF) have quickly become the primary approach for 3D reconstruction and novel view synthesis in recent years due to their remarkable performance. Despite the huge interest in NeRF methods, a practical use case of NeRFs has largely been ignored; the exploration of the scene space modelled by a NeRF. In this paper, for the first time in the literature, we propose and formally define the scene exploration framework as the efficient discovery of NeRF model inputs (i.e. coordinates and viewing angles), using which one can render novel views that adhere to user-selected criteria. To remedy the lack of approaches addressing scene exploration, we first propose two baseline methods called Guided-Random Search (GRS) and Pose Interpolation-based Search (PIBS). We then cast scene exploration as an optimization problem, and propose the criteria-agnostic Evolution-Guided Pose Search (EGPS) for efficient exploration. We test all three approaches with various criteria (e.g. saliency maximization, image quality maximization, photo-composition quality improvement) and show that our EGPS performs more favourably than other baselines. We finally highlight key points and limitations, and outline directions for future research in scene exploration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google