360BEV: Panoramic Semantic Mapping for Indoor Bird’s-Eye View

要約

全体のほんの一部だけを見ても、全体の状況を知ることはできません。
自己中心的な視点から他中心的な地図を取得するプロセスである鳥瞰図 (BEV) 知覚は、狭い視野 (FoV) のみを使用する場合には制限されます。
この作業では、360{\deg} パノラマから BEV セマンティクスへのマッピング、つまり 360BEV タスクが初めて確立され、トップダウン ビューで屋内シーンの全体的な表現が実現されます。
全体的な BEV セマンティック マップを生成するには、狭視野の画像シーケンスに依存する代わりに、深度情報を備えたパノラマ画像で十分です。
360BEV のベンチマークを行うために、360BEV-Matterport と 360BEV-Stanford という 2 つの屋内データセットを紹介します。どちらにも、自己中心的なパノラマ画像とセマンティック セグメンテーション ラベル、およびアロセントリックなセマンティック マップが含まれています。
さまざまなマッピング パラダイムを深く掘り下げることに加えて、パノラマ セマンティック マッピング専用のソリューション、つまり 360Mapper を提案します。
広範な実験を通じて、私たちのメソッドは両方のデータセットでそれぞれ mIoU で 44.32% と 45.78% を達成し、以前の対応するメソッドを上回り、mIoU で +7.60% と +9.70% 増加しました。
コードとデータセットはプロジェクト ページ: https://jamycheung.github.io/360BEV.html で入手できます。

要約(オリジナル)

Seeing only a tiny part of the whole is not knowing the full circumstance. Bird’s-eye-view (BEV) perception, a process of obtaining allocentric maps from egocentric views, is restricted when using a narrow Field of View (FoV) alone. In this work, mapping from 360{\deg} panoramas to BEV semantics, the 360BEV task, is established for the first time to achieve holistic representations of indoor scenes in a top-down view. Instead of relying on narrow-FoV image sequences, a panoramic image with depth information is sufficient to generate a holistic BEV semantic map. To benchmark 360BEV, we present two indoor datasets, 360BEV-Matterport and 360BEV-Stanford, both of which include egocentric panoramic images and semantic segmentation labels, as well as allocentric semantic maps. Besides delving deep into different mapping paradigms, we propose a dedicated solution for panoramic semantic mapping, namely 360Mapper. Through extensive experiments, our methods achieve 44.32% and 45.78% in mIoU on both datasets respectively, surpassing previous counterparts with gains of +7.60% and +9.70% in mIoU. Code and datasets are available at the project page: https://jamycheung.github.io/360BEV.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google