SLiDE: Self-supervised LiDAR De-snowing through Reconstruction Difficulty

要約

LiDARは、屋外の3Dシーンを正確に捉えるために広く利用されています。しかし、LiDARは雪が降ると多くの望ましくないノイズ点を生成し、意味のある3Dシーン構造を分析する妨げになる。雪ラベルを用いたセマンティックセグメンテーションは、それらを除去するための簡単な解決策であるが、手間のかかるポイント単位のアノテーションが必要である。この問題に対処するため、我々はLiDAR点群における雪点除去のための新しい自己教師付き学習フレームワークを提案する。本手法は、ノイズ点の構造的特徴である、隣接点との低い空間相関を利用する。本手法は、2つのディープニューラルネットワークから構成される。Point Reconstruction Network (PR-Net) は各点を隣接点から再構成し、Reconstruction Difficulty Network (RD-Net) はPR-Netによる再構成の難しさを点ごとに予測する（これを再構成困難度と呼ぶ）。本手法は、簡単な後処理により、ラベルのない雪氷点を効率的に検出することができる。本手法はラベルを用いない手法の中で最先端の性能を達成し，完全教師あり手法に匹敵する性能を持つ．さらに，本手法が雪氷の教師付き学習におけるラベル効率を向上させるための前段階のタスクとして利用できることを実証する．

要約(オリジナル)

LiDAR is widely used to capture accurate 3D outdoor scene structures. However, LiDAR produces many undesirable noise points in snowy weather, which hamper analyzing meaningful 3D scene structures. Semantic segmentation with snow labels would be a straightforward solution for removing them, but it requires laborious point-wise annotation. To address this problem, we propose a novel self-supervised learning framework for snow points removal in LiDAR point clouds. Our method exploits the structural characteristic of the noise points: low spatial correlation with their neighbors. Our method consists of two deep neural networks: Point Reconstruction Network (PR-Net) reconstructs each point from its neighbors; Reconstruction Difficulty Network (RD-Net) predicts point-wise difficulty of the reconstruction by PR-Net, which we call reconstruction difficulty. With simple post-processing, our method effectively detects snow points without any label. Our method achieves the state-of-the-art performance among label-free approaches and is comparable to the fully-supervised method. Moreover, we demonstrate that our method can be exploited as a pretext task to improve label-efficiency of supervised training of de-snowing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL