ALSO: Automotive Lidar Self-supervision by Occupancy estimation

要約

点群で動作する深層知覚モデルのバックボーンを事前トレーニングするための新しい自己教師あり方法を提案します。
コアとなるアイデアは、3D ポイントがサンプリングされたサーフェスの再構築である口実タスクでモデルをトレーニングし、基になる潜在ベクトルを認識ヘッドへの入力として使用することです。
直観的には、ネットワークがシーン サーフェスを再構築できる場合、まばらな入力ポイントのみが与えられた場合、実際の認識タスクを強化するために使用できるセマンティック情報のフラグメントもキャプチャされる可能性があります。
この原理は非常に単純な定式化を持っているため、実装が容易であり、セマンティック セグメンテーションまたはオブジェクト検出を実行する広範な 3D センサーとディープ ネットワークに広く適用できます。
実際、ほとんどの対照的な学習アプローチとは対照的に、単一ストリーム パイプラインをサポートしているため、限られたリソースでのトレーニングが可能です。
セマンティック セグメンテーションとオブジェクト検出の両方のために、非常に異なる種類の LIDAR を含む、さまざまな自動運転データセットに対して広範な実験を実施しました。
結果は、既存のアプローチと比較して、アノテーションなしで有用な表現を学習する方法の有効性を示しています。
コードは \href{https://github.com/valeoai/ALSO}{github.com/valeoai/ALSO} で入手できます。

要約(オリジナル)

We propose a new self-supervised method for pre-training the backbone of deep perception models operating on point clouds. The core idea is to train the model on a pretext task which is the reconstruction of the surface on which the 3D points are sampled, and to use the underlying latent vectors as input to the perception head. The intuition is that if the network is able to reconstruct the scene surface, given only sparse input points, then it probably also captures some fragments of semantic information, that can be used to boost an actual perception task. This principle has a very simple formulation, which makes it both easy to implement and widely applicable to a large range of 3D sensors and deep networks performing semantic segmentation or object detection. In fact, it supports a single-stream pipeline, as opposed to most contrastive learning approaches, allowing training on limited resources. We conducted extensive experiments on various autonomous driving datasets, involving very different kinds of lidars, for both semantic segmentation and object detection. The results show the effectiveness of our method to learn useful representations without any annotation, compared to existing approaches. Code is available at \href{https://github.com/valeoai/ALSO}{github.com/valeoai/ALSO}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google