WildScenes: A Benchmark for 2D and 3D Semantic Segmentation in Large-scale Natural Environments

要約

意味論的なシーンの理解における最近の進歩は、主に都市環境で意味論的に注釈が付けられたバイモーダル (カメラと LIDAR) データセットの利用可能性によって可能になりました。
ただし、このような注釈付きデータセットは、自然保護、捜索救助、環境モニタリング、農業オートメーションなどのアプリケーションの意味認識を可能にするために、自然の非構造化環境にも必要です。
したがって、高解像度 2D 画像と高密度 3D LIDAR 点群のセマンティック アノテーション、および正確な 6-DoF 姿勢情報を含む、自然環境における複数の大規模な走査で構成されるバイモーダル ベンチマーク データセットである WildScenes を導入します。
データは、(1) 正確な位置特定とグローバルに位置合わせされた点群を備えた軌道中心であり、(2) 二峰性推論をサポートするために校正および同期されており、(3) ドメイン適応の研究をサポートするために 6 か月にわたる異なる自然環境を含んでいます。
当社の 3D セマンティック ラベルは、人間が注釈を付けた 2D ラベルを複数のビューから 3D 点群に転送する効率的な自動プロセスを介して取得されるため、高価で時間のかかる人間による 3D での注釈の必要性が回避されます。
2D および 3D セマンティック セグメンテーションのベンチマークを紹介し、最近のさまざまな深層学習技術を評価して、自然環境におけるセマンティック セグメンテーションの課題を実証します。
標準ベンチマークとドメイン適応ベンチマークに対して train-val-test 分割を提案し、自動分割生成技術を利用してクラス ラベル分布のバランスを確保します。
データ、評価スクリプト、事前トレーニング済みモデルは、https://csiro-robotics.github.io/WildScenes で承認され次第リリースされます。

要約(オリジナル)

Recent progress in semantic scene understanding has primarily been enabled by the availability of semantically annotated bi-modal (camera and lidar) datasets in urban environments. However, such annotated datasets are also needed for natural, unstructured environments to enable semantic perception for applications, including conservation, search and rescue, environment monitoring, and agricultural automation. Therefore, we introduce WildScenes, a bi-modal benchmark dataset consisting of multiple large-scale traversals in natural environments, including semantic annotations in high-resolution 2D images and dense 3D lidar point clouds, and accurate 6-DoF pose information. The data is (1) trajectory-centric with accurate localization and globally aligned point clouds, (2) calibrated and synchronized to support bi-modal inference, and (3) containing different natural environments over 6 months to support research on domain adaptation. Our 3D semantic labels are obtained via an efficient automated process that transfers the human-annotated 2D labels from multiple views into 3D point clouds, thus circumventing the need for expensive and time-consuming human annotation in 3D. We introduce benchmarks on 2D and 3D semantic segmentation and evaluate a variety of recent deep-learning techniques to demonstrate the challenges in semantic segmentation in natural environments. We propose train-val-test splits for standard benchmarks as well as domain adaptation benchmarks and utilize an automated split generation technique to ensure the balance of class label distributions. The data, evaluation scripts and pretrained models will be released upon acceptance at https://csiro-robotics.github.io/WildScenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google