TeFF: Tracking-enhanced Forgetting-free Few-shot 3D LiDAR Semantic Segmentation

要約

自動運転において、3D LiDAR は車両の周囲を理解する上で重要な役割を果たします。
ただし、新しく出現した注釈のないオブジェクトは、セマンティック セグメンテーションの少数ショット学習の問題を引き起こします。
この論文では、LiDAR データの時間的連続性を利用することで、現在の少数ショット セマンティック セグメンテーションの限界に対処します。
追跡モデルを採用して一連の LiDAR フレームから疑似グラウンドトゥルースを生成することで、私たちの方法はデータセットを大幅に拡張し、新しいクラスでのモデルの学習能力を強化します。
ただし、このアプローチでは新規データに偏ったデータの不均衡が生じ、壊滅的な忘却という新たな課題が生じます。
これを軽減するために、トレーニング可能なパラメーターの数を減らす手法である LoRA を組み込んでいます。これにより、新しいクラスへの適応性を向上させながら、基本クラスでのモデルのパフォーマンスを維持します。
この成果は、自動運転向けの少数ショット 3D LiDAR セマンティック セグメンテーションにおける重要な前進を表しています。
私たちのコードは https://github.com/junbao-zhou/Track-no-forgetting で入手できます。

要約(オリジナル)

In autonomous driving, 3D LiDAR plays a crucial role in understanding the vehicle’s surroundings. However, the newly emerged, unannotated objects presents few-shot learning problem for semantic segmentation. This paper addresses the limitations of current few-shot semantic segmentation by exploiting the temporal continuity of LiDAR data. Employing a tracking model to generate pseudo-ground-truths from a sequence of LiDAR frames, our method significantly augments the dataset, enhancing the model’s ability to learn on novel classes. However, this approach introduces a data imbalance biased to novel data that presents a new challenge of catastrophic forgetting. To mitigate this, we incorporate LoRA, a technique that reduces the number of trainable parameters, thereby preserving the model’s performance on base classes while improving its adaptability to novel classes. This work represents a significant step forward in few-shot 3D LiDAR semantic segmentation for autonomous driving. Our code is available at https://github.com/junbao-zhou/Track-no-forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google