COLA: COarse LAbel pre-training for 3D semantic segmentation of sparse LiDAR datasets

要約

転移学習は、取得または注釈のコストのためにサイズが制限されたデータセットで、利用可能な大量のデータを活用し、高性能を達成するための 2D コンピューター ビジョンで実績のある手法です。
3D では、注釈はコストのかかる作業であることが知られています。
それにもかかわらず、転移学習法は最近調査されたばかりです。
非常に大きな注釈付きデータセットが利用できないため、教師なしの事前トレーニングが非常に好まれています。
この作業では、スパースな屋外 LiDAR スキャンのリアルタイム 3D セマンティック セグメンテーションのケースに取り組みます。
このようなデータセットは増加傾向にありますが、同じタスクでもラベル セットが異なります。
この作業では、粗いラベルと呼ばれる中間レベルのラベル セットを提案します。これにより、利用可能なすべてのデータを手動でラベル付けすることなく活用できます。
このようにして、セマンティック セグメンテーションのより単純なタスクと共に、より大きなデータセットにアクセスできます。
これにより、COLA とも呼ばれる粗いラベルの事前トレーニングという新しい事前トレーニング タスクが導入されます。
さまざまなデータセットとアーキテクチャに対する COLA の影響を徹底的に分析し、特に微調整タスクが小さなデータセットにしかアクセスできない場合に、パフォーマンスが大幅に向上することを示しています。

要約(オリジナル)

Transfer learning is a proven technique in 2D computer vision to leverage the large amount of data available and achieve high performance with datasets limited in size due to the cost of acquisition or annotation. In 3D, annotation is known to be a costly task; nevertheless, transfer learning methods have only recently been investigated. Unsupervised pre-training has been heavily favored as no very large annotated dataset are available. In this work, we tackle the case of real-time 3D semantic segmentation of sparse outdoor LiDAR scans. Such datasets have been on the rise, but with different label sets even for the same task. In this work, we propose here an intermediate-level label set called the coarse labels, which allows all the data available to be leveraged without any manual labelization. This way, we have access to a larger dataset, alongside a simpler task of semantic segmentation. With it, we introduce a new pre-training task: the coarse label pre-training, also called COLA. We thoroughly analyze the impact of COLA on various datasets and architectures and show that it yields a noticeable performance improvement, especially when the finetuning task has access only to a small dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google