360$^\circ$ from a Single Camera: A Few-Shot Approach for LiDAR Segmentation

要約

LiDAR データのディープ ラーニング アプリケーションは、さまざまなセンサーやタスクに適用すると、強力なドメイン ギャップに悩まされます。
これらの方法で、公開ベンチマークで報告された値と比較して、さまざまなデータで同様の精度を得るには、大規模な注釈付きデータセットが必要です。
ただし、実際のアプリケーションでは、ラベル付きデータの取得にはコストと時間がかかります。
このような要因により、ラベルの効率的な方法に関するさまざまな研究が行われてきましたが、完全に監視された方法との間には大きな隔たりが残っています。
したがって、ラベル効率の高い LiDAR セグメンテーションに対する効果的かつ合理化された少数ショット アプローチである ImageTo360 を提案します。
私たちの方法では、画像教師ネットワークを利用して、単一のカメラビュー内で LiDAR データのセマンティック予測を生成します。
教師は、360$^\circ$ データのオプションの微調整の前に、LiDAR セグメンテーションの生徒ネットワークを事前トレーニングするために使用されます。
私たちの方法はポイントレベルでモジュール方式で実装されているため、さまざまなアーキテクチャに汎用化できます。
私たちは、ラベル効率の高い手法に関する現在の最先端の結果をさらに改善し、一部の従来の完全監視型セグメンテーション ネットワークをも上回っています。

要約(オリジナル)

Deep learning applications on LiDAR data suffer from a strong domain gap when applied to different sensors or tasks. In order for these methods to obtain similar accuracy on different data in comparison to values reported on public benchmarks, a large scale annotated dataset is necessary. However, in practical applications labeled data is costly and time consuming to obtain. Such factors have triggered various research in label-efficient methods, but a large gap remains to their fully-supervised counterparts. Thus, we propose ImageTo360, an effective and streamlined few-shot approach to label-efficient LiDAR segmentation. Our method utilizes an image teacher network to generate semantic predictions for LiDAR data within a single camera view. The teacher is used to pretrain the LiDAR segmentation student network, prior to optional fine-tuning on 360$^\circ$ data. Our method is implemented in a modular manner on the point level and as such is generalizable to different architectures. We improve over the current state-of-the-art results for label-efficient methods and even surpass some traditional fully-supervised segmentation networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google