Open-world Semantic Segmentation for LIDAR Point Clouds

要約

現在のLIDARセマンティックセグメンテーションの手法は、クローズドセットかつ静的であるため、自律走行などの実世界のアプリケーションに対して十分なロバスト性を持っていない。また、静的なネットワークは、見たことのない物体に対して、学習したクラスのラベルしか出力できない。そこで本研究では、LIDAR点群のオープンワールド意味分割タスクを提案する。このタスクでは、1) オープンセット意味分割を用いて古いクラスと新しいクラスの両方を識別し、2) 古いクラスを忘れることなく、増分学習を用いて新しいオブジェクトを既存の知識ベースに徐々に取り込むことを目標とする。この目的のために、我々はオープンセットセマンティックセグメンテーションと漸増学習の両方の問題に対する一般的なアーキテクチャを提供するREdundAncy cLassifier (REAL) フレームワークを提案する。実験により、REALはSemanticKITTIとnuScenesデータセットのオープンセット意味分割課題において、同時に最先端の性能を達成し、漸増学習中の壊滅的な忘却問題を大きな余裕をもって緩和できることが示された。

要約(オリジナル)

Current methods for LIDAR semantic segmentation are not robust enough for real-world applications, e.g., autonomous driving, since it is closed-set and static. The closed-set assumption makes the network only able to output labels of trained classes, even for objects never seen before, while a static network cannot update its knowledge base according to what it has seen. Therefore, in this work, we propose the open-world semantic segmentation task for LIDAR point clouds, which aims to 1) identify both old and novel classes using open-set semantic segmentation, and 2) gradually incorporate novel objects into the existing knowledge base using incremental learning without forgetting old classes. For this purpose, we propose a REdundAncy cLassifier (REAL) framework to provide a general architecture for both the open-set semantic segmentation and incremental learning problems. The experimental results show that REAL can simultaneously achieves state-of-the-art performance in the open-set semantic segmentation task on the SemanticKITTI and nuScenes datasets, and alleviate the catastrophic forgetting problem with a large margin during incremental learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL