COLA: COarse LAbel pre-training for 3D semantic segmentation of sparse LiDAR datasets

要約

転移学習は、取得または注釈のコストのためにサイズが制限されたデータセットで、利用可能な大量のデータを活用し、高性能を達成するための 2D コンピューター ビジョンで実績のある手法です。
3D では、注釈はコストのかかる作業であることが知られています。
それにもかかわらず、事前トレーニング方法は最近調査されたばかりです。
このコストのために、教師なしの事前トレーニングが非常に好まれています。
この作業では、まばらな自動運転 LiDAR スキャンのリアルタイム 3D セマンティック セグメンテーションのケースに取り組みます。
このようなデータセットはますます公開されていますが、それぞれに固有のラベル セットがあります。
ここでは、粗いラベルと呼ばれる中間レベルのラベル セットを提案します。これは、既存および将来の自動運転データセットで簡単に使用できるため、手動で追加のラベル付けを行うことなく、利用可能なすべてのデータを一度に活用できます。
このようにして、セマンティック セグメンテーションの単純なタスクと共に、より大きなデータセットにアクセスできます。
これにより、COLA とも呼ばれる粗いラベルの事前トレーニングという新しい事前トレーニング タスクが導入されます。
さまざまなデータセットとアーキテクチャに対する COLA の影響を徹底的に分析し、特に微調整タスクに小さなデータセットしか使用できない場合に、パフォーマンスが大幅に向上することを示しています。

要約(オリジナル)

Transfer learning is a proven technique in 2D computer vision to leverage the large amount of data available and achieve high performance with datasets limited in size due to the cost of acquisition or annotation. In 3D, annotation is known to be a costly task; nevertheless, pre-training methods have only recently been investigated. Due to this cost, unsupervised pre-training has been heavily favored. In this work, we tackle the case of real-time 3D semantic segmentation of sparse autonomous driving LiDAR scans. Such datasets have been increasingly released, but each has a unique label set. We propose here an intermediate-level label set called coarse labels, which can easily be used on any existing and future autonomous driving datasets, thus allowing all the data available to be leveraged at once without any additional manual labeling. This way, we have access to a larger dataset, alongside a simple task of semantic segmentation. With it, we introduce a new pre-training task: coarse label pre-training, also called COLA. We thoroughly analyze the impact of COLA on various datasets and architectures and show that it yields a noticeable performance improvement, especially when only a small dataset is available for the finetuning task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google