Active Perception using Neural Radiance Fields

要約

私たちは第一原理から能動的な知覚を研究し、能動的な知覚を実行する自律エージェントは、過去の観察が将来の観察について持つ相互情報を最大化する必要があると主張します。
そのためには、(a) 過去の観察を要約したシーンの表現と、新しい観察を組み込むためにこの表現を更新する機能 (状態推定とマッピング)、(b) シーンの新しい観察を合成する機能 (生成モデル) が必要です。
(c) 予測情報を最大化する制御軌道を選択する機能 (計画)。
これにより、接地されたシーンの測光的、幾何学的、および意味論的な特性を捕捉する神経放射フィールド (NeRF) のような表現が動機付けられます。
この表現は、さまざまな視点からの新しい観察を統合するのに適しています。
これにより、サンプリングベースのプランナーを使用して、動的に実行可能な軌道に沿った合成観測から予測情報を計算できます。
私たちは、乱雑な屋内環境を探索するために能動的な知覚を使用し、探索タスクが正常に完了したかどうかを確認するために意味論的不確実性の概念を採用します。
これらのアイデアを、現実的な 3D 屋内環境でのシミュレーションを通じて実証します。

要約(オリジナル)

We study active perception from first principles to argue that an autonomous agent performing active perception should maximize the mutual information that past observations posses about future ones. Doing so requires (a) a representation of the scene that summarizes past observations and the ability to update this representation to incorporate new observations (state estimation and mapping), (b) the ability to synthesize new observations of the scene (a generative model), and (c) the ability to select control trajectories that maximize predictive information (planning). This motivates a neural radiance field (NeRF)-like representation which captures photometric, geometric and semantic properties of the scene grounded. This representation is well-suited to synthesizing new observations from different viewpoints. And thereby, a sampling-based planner can be used to calculate the predictive information from synthetic observations along dynamically-feasible trajectories. We use active perception for exploring cluttered indoor environments and employ a notion of semantic uncertainty to check for the successful completion of an exploration task. We demonstrate these ideas via simulation in realistic 3D indoor environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google