MACARONS: Mapping And Coverage Anticipation with RGB Online Self-Supervision

要約

新しい大規模な環境を探索することと、カラー画像のみからそれらを 3D で再構成することを同時に学習する方法を紹介します。
これは、Next Best View 問題 (NBV) と密接に関連しています。NBV では、未知のシーンの範囲を改善するために次にカメラをどこに移動するかを特定する必要があります。
ただし、現在の NBV 手法のほとんどは深度センサーに依存しており、3D 監視が必要であったり、大規模なシーンに対応できなかったりします。
私たちの方法では、カラー カメラのみが必要で、3D 監視は必要ありません。
同時に、自己教師形式でカラー画像から「体積占有フィールド」を予測し、このフィールドから NBV を予測することを学習します。
このアプローチのおかげで、私たちの方法はトレーニング 3D データに偏らないため、新しいシーンでも良好に実行されます。
私たちはこれをさまざまな 3D シーンで構成された最近のデータセットで実証し、深度センサーを必要とする最近の方法よりもさらに優れたパフォーマンスを発揮することを示しました。これは、飛行するドローンで撮影された屋外シーンでは現実的な想定ではありません。

要約(オリジナル)

We introduce a method that simultaneously learns to explore new large environments and to reconstruct them in 3D from color images only. This is closely related to the Next Best View problem (NBV), where one has to identify where to move the camera next to improve the coverage of an unknown scene. However, most of the current NBV methods rely on depth sensors, need 3D supervision and/or do not scale to large scenes. Our method requires only a color camera and no 3D supervision. It simultaneously learns in a self-supervised fashion to predict a ‘volume occupancy field’ from color images and, from this field, to predict the NBV. Thanks to this approach, our method performs well on new scenes as it is not biased towards any training 3D data. We demonstrate this on a recent dataset made of various 3D scenes and show it performs even better than recent methods requiring a depth sensor, which is not a realistic assumption for outdoor scenes captured with a flying drone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google