Uncertainty-Driven Active Vision for Implicit Scene Reconstruction

要約

多視点暗黙的シーン再構成法は、複雑なシーンの詳細を表現することができるため、ますます人気が高まっています。近年では、入力情報の表現力を向上させ、高品質な再構成を得るために必要なビューの数を減らすことに力を注いでいる。しかし、驚くべきことに、シーン理解を最大限に向上させるためにどのビューを選択するかという研究は、ほとんど未解決のままである。我々は、ボリュームレンダリングを用いてシーン全体に蓄積された占有率の不確実性を活用し、次に取得すべきビューを選択する、暗黙的シーン再構成のための不確実性駆動型アクティブビジョンアプローチを提案する。本アプローチでは、2次元、3次元のいずれのシーンにおいても、占有率に基づいた再構成を行う。提案手法をABCデータセットとCo3Dデータセットで評価し、以下のことを示す。(2)視点条件に基づく不確実性定義は、次善のビュー選択の改善に有効であり、強力なベースライン手法を凌駕すること、(3)ビュー選択候補に対して勾配に基づく探索を行うことで形状理解をさらに改善できること。全体として、我々の結果は、暗黙的なシーン再構成のためのビュー選択の重要性を強調し、それをさらに探求するための有望な道とするものである。

要約(オリジナル)

Multi-view implicit scene reconstruction methods have become increasingly popular due to their ability to represent complex scene details. Recent efforts have been devoted to improving the representation of input information and to reducing the number of views required to obtain high quality reconstructions. Yet, perhaps surprisingly, the study of which views to select to maximally improve scene understanding remains largely unexplored. We propose an uncertainty-driven active vision approach for implicit scene reconstruction, which leverages occupancy uncertainty accumulated across the scene using volume rendering to select the next view to acquire. To this end, we develop an occupancy-based reconstruction method which accurately represents scenes using either 2D or 3D supervision. We evaluate our proposed approach on the ABC dataset and the in the wild CO3D dataset, and show that: (1) we are able to obtain high quality state-of-the-art occupancy reconstructions; (2) our perspective conditioned uncertainty definition is effective to drive improvements in next best view selection and outperforms strong baseline approaches; and (3) we can further improve shape understanding by performing a gradient-based search on the view selection candidates. Overall, our results highlight the importance of view selection for implicit scene reconstruction, making it a promising avenue to explore further.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL