360BEV: Panoramic Semantic Mapping for Indoor Bird’s-Eye View

要約

全体のごく一部しか見ていないということは、全体の状況を把握していないということです。
鳥瞰図 (BEV) 知覚、自己中心的なビューからアロセントリック マップを取得するプロセスは、狭い視野 (FoV) のみを使用する場合に制限されます。
この作業では、360{\deg} パノラマから BEV セマンティクスへのマッピングである 360BEV タスクが初めて確立され、トップダウン ビューで屋内シーンの全体的な表現を実現します。
全体的な BEV セマンティック マップを生成するには、狭視野画像シーケンスに頼る代わりに、深度情報を含むパノラマ画像で十分です。
360BEV のベンチマークとして、360BEV-Matterport と 360BEV-Stanford の 2 つの屋内データセットを提示します。どちらにも、利己的なパノラマ画像とセマンティック セグメンテーション ラベル、およびアロセントリックなセマンティック マップが含まれています。
さまざまなマッピング パラダイムを深く掘り下げるだけでなく、360Mapper というパノラマ セマンティック マッピング専用のソリューションを提案します。
広範な実験を通じて、私たちの方法は両方のデータセットでそれぞれ mIoU で 44.32% と 45.78% を達成し、mIoU で +7.60% と +9.70% のゲインで以前の対応物を上回りました。
コードとデータセットは、\url{https://jamycheung.github.io/360BEV.html} で入手できます。

要約(オリジナル)

Seeing only a tiny part of the whole is not knowing the full circumstance. Bird’s-eye-view (BEV) perception, a process of obtaining allocentric maps from egocentric views, is restricted when using a narrow Field of View (FoV) alone. In this work, mapping from 360{\deg} panoramas to BEV semantics, the 360BEV task, is established for the first time to achieve holistic representations of indoor scenes in a top-down view. Instead of relying on narrow-FoV image sequences, a panoramic image with depth information is sufficient to generate a holistic BEV semantic map. To benchmark 360BEV, we present two indoor datasets, 360BEV-Matterport and 360BEV-Stanford, both of which include egocentric panoramic images and semantic segmentation labels, as well as allocentric semantic maps. Besides delving deep into different mapping paradigms, we propose a dedicated solution for panoramic semantic mapping, namely 360Mapper. Through extensive experiments, our methods achieve 44.32% and 45.78% in mIoU on both datasets respectively, surpassing previous counterparts with gains of +7.60% and +9.70% in mIoU. Code and datasets will be available at: \url{https://jamycheung.github.io/360BEV.html}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google