OpenOccupancy: A Large Scale Benchmark for Surrounding Semantic Occupancy Perception

要約

自動運転車には3D都市構造のきめ細かな知覚が必要であるため、意味的な占有率知覚は自律走行に不可欠である。しかし、既存の関連ベンチマークは、都市シーンにおける多様性に欠けており、フロントビューの予測のみを評価している。そこで、我々は、周辺認識アルゴリズムの包括的なベンチマークを目指し、初の周辺セマンティック占有認識ベンチマークであるOpenOccupancyを提案する。OpenOccupancyベンチマークでは、大規模なnuScenesデータセットを拡張し、高密度の意味的占有率アノテーションを付与する。これまでのアノテーションは、LiDARポイントの重ね合わせに依存しており、LiDARチャンネルが疎なため、一部の占有ラベルが見落とされる。この問題を軽減するために、我々はAugmenting And Purifying (AAP)パイプラインを導入し、ラベリングプロセスに4000人の時間が費やされている注釈を2倍に濃縮しています。また、OpenOccupancyベンチマークでは、カメラベース、LiDARベース、マルチモーダルベースラインが確立されています。さらに、周囲の占有状況の認識の複雑さは、高解像度の3D予測の計算負荷にあることを考慮し、粗い予測を改良するためにカスケード占有ネットワーク（CONet）を提案し、ベースラインよりも性能を〜30％向上させました。OpenOccupancyベンチマークが、周囲の占有率知覚アルゴリズムの開発を後押しすることを期待しています。

要約(オリジナル)

Semantic occupancy perception is essential for autonomous driving, as automated vehicles require a fine-grained perception of the 3D urban structures. However, existing relevant benchmarks lack diversity in urban scenes, and they only evaluate front-view predictions. Towards a comprehensive benchmarking of surrounding perception algorithms, we propose OpenOccupancy, which is the first surrounding semantic occupancy perception benchmark. In the OpenOccupancy benchmark, we extend the large-scale nuScenes dataset with dense semantic occupancy annotations. Previous annotations rely on LiDAR points superimposition, where some occupancy labels are missed due to sparse LiDAR channels. To mitigate the problem, we introduce the Augmenting And Purifying (AAP) pipeline to ~2x densify the annotations, where ~4000 human hours are involved in the labeling process. Besides, camera-based, LiDAR-based and multi-modal baselines are established for the OpenOccupancy benchmark. Furthermore, considering the complexity of surrounding occupancy perception lies in the computational burden of high-resolution 3D predictions, we propose the Cascade Occupancy Network (CONet) to refine the coarse prediction, which relatively enhances the performance by ~30% than the baseline. We hope the OpenOccupancy benchmark will boost the development of surrounding occupancy perception algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL