Fake it, Mix it, Segment it: Bridging the Domain Gap Between Lidar Sensors

要約

LIDAR データのセグメンテーションは、ロボットや自動運転車の環境に関する豊富な点別情報を提供するタスクです。
現在、LIDAR セグメンテーションに最適なニューラル ネットワークは、特定のデータセットに合わせて微調整されています。
新しいセンサーからの大量の注釈付きデータ セットで再トレーニングせずにライダー センサーを切り替えると、ドメイン シフトが発生し、ネットワーク パフォーマンスが大幅に低下します。
この作業では、ライダー ドメイン適応のための新しい方法を提案します。この方法では、注釈付きのパノプティック ライダー データセットを使用し、記録されたシーンを異なるライダー センサーの構造で再作成します。
あるドメインから別のドメインでパノプティック データを再作成し、生成されたデータを (疑似) ラベル付けされたターゲット ドメイン データの一部と混合することにより、ターゲット データとのドメイン ギャップを狭めます。
私たちの方法は、nuScenes から SemanticKITTI の教師なしドメインへの適応パフォーマンスを 15.2 平均和集合点 (mIoU) だけ改善し、半教師付きアプローチでは 48.3 mIoU 改善します。
SemanticKITTI から nuScenes ドメインへの適応についても、それぞれ 21.8 mIoU と 51.5 mIoU の同様の改善が見られます。
私たちの方法を、セマンティック LIDAR セグメンテーション ドメイン適応のための 2 つの最先端のアプローチと比較し、教師なしおよび半教師付きドメイン適応の大幅な改善を行います。
さらに、提案した方法を 2 つの最先端ライダー センサー Velodyne Alpha Prime と InnovizTwo の完全にラベル付けされていない 2 つのデータセットに適用し、両方に対して適切に機能するセマンティック セグメンテーション ネットワークをトレーニングしました。

要約(オリジナル)

Segmentation of lidar data is a task that provides rich, point-wise information about the environment of robots or autonomous vehicles. Currently best performing neural networks for lidar segmentation are fine-tuned to specific datasets. Switching the lidar sensor without retraining on a big set of annotated data from the new sensor creates a domain shift, which causes the network performance to drop drastically. In this work we propose a new method for lidar domain adaption, in which we use annotated panoptic lidar datasets and recreate the recorded scenes in the structure of a different lidar sensor. We narrow the domain gap to the target data by recreating panoptic data from one domain in another and mixing the generated data with parts of (pseudo) labeled target domain data. Our method improves the nuScenes to SemanticKITTI unsupervised domain adaptation performance by 15.2 mean Intersection over Union points (mIoU) and by 48.3 mIoU in our semi-supervised approach. We demonstrate a similar improvement for the SemanticKITTI to nuScenes domain adaptation by 21.8 mIoU and 51.5 mIoU, respectively. We compare our method with two state of the art approaches for semantic lidar segmentation domain adaptation with a significant improvement for unsupervised and semi-supervised domain adaptation. Furthermore we successfully apply our proposed method to two entirely unlabeled datasets of two state of the art lidar sensors Velodyne Alpha Prime and InnovizTwo, and train well performing semantic segmentation networks for both.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google