MACARONS: Mapping And Coverage Anticipation with RGB Online Self-Supervision

要約

我々は、新しい大規模環境の探索と、カラー画像のみからの3D再構築を同時に学習する方法を紹介する。これは、Next Best View問題（NBV）と密接に関連しており、未知のシーンのカバー率を向上させるために次にカメラを移動させる場所を特定する必要がある。しかし、現在のNBV手法の多くは、深度センサーに依存し、3D監視が必要で、大規模なシーンに対応できないのが現状である。本手法は、カラーカメラと3D監視を必要としない。本手法は、カラー画像から「ボリューム占有フィールド」を予測し、このフィールドからNBVを予測することを同時に自己教師方式で学習する。このアプローチにより、本手法は、学習用3Dデータに偏ることなく、新しいシーンでも良好な性能を発揮します。様々な3Dシーンで構成された最近のデータセットでこれを実証し、深度センサーを必要とする最近の手法よりもさらに優れた性能を発揮することを示しました。

要約(オリジナル)

We introduce a method that simultaneously learns to explore new large environments and to reconstruct them in 3D from color images only. This is closely related to the Next Best View problem (NBV), where one has to identify where to move the camera next to improve the coverage of an unknown scene. However, most of the current NBV methods rely on depth sensors, need 3D supervision and/or do not scale to large scenes. Our method requires only a color camera and no 3D supervision. It simultaneously learns in a self-supervised fashion to predict a ‘volume occupancy field’ from color images and, from this field, to predict the NBV. Thanks to this approach, our method performs well on new scenes as it is not biased towards any training 3D data. We demonstrate this on a recent dataset made of various 3D scenes and show it performs even better than recent methods requiring a depth sensor, which is not a realistic assumption for outdoor scenes captured with a flying drone.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL