Taxonomy-Aware Continual Semantic Segmentation in Hyperbolic Spaces for Open-World Perception

要約

意味セグメンテーションモデルは通常、固定されたクラスセットで学習されるため、オープンワールドのシナリオでの適用が制限される。クラスインクリメンタルなセマンティックセグメンテーションは、以前に学習したクラスの壊滅的な忘却を防ぎながら、新たに出現するクラスでモデルを更新することを目的としている。しかし、既存の手法では、古いクラスに厳格な硬直性を課しているため、新しいインクリメンタルなクラスを学習する際の有効性が低下している。本研究では、明示的なタクソノミーツリー構造に従って双曲空間の特徴埋め込みを学習する、タクソノミー指向ポインカー規則化インクリメンタルクラスセグメンテーション(Taxonomy-Oriented Poincar’e-regularized Incremental-Class Segmentation: TOPICS)を提案する。この監視は古いクラスに対して可塑性を提供し、新しいクラスに基づいて祖先を更新しながら、新しいクラスを適切な位置に統合する。さらに、Poincar’e球の幾何学的基礎に暗黙のクラス関係制約を維持する。これにより、潜在空間は、壊滅的な忘却に対抗する頑健な構造を維持しながら、新しい制約に継続的に適応できる。また、新しいクラスが既知のクラスや背景から発生する可能性のある、自律走行シナリオのための8つの現実的な漸進的学習プロトコルを確立する。CityscapesおよびMapillary Vistas 2.0ベンチマークにおけるTOPICSの広範な評価により、TOPICSが最先端の性能を達成していることを実証する。コードと学習済みモデルは、http://topics.cs.uni-freiburg.de で公開しています。

要約(オリジナル)

Semantic segmentation models are typically trained on a fixed set of classes, limiting their applicability in open-world scenarios. Class-incremental semantic segmentation aims to update models with emerging new classes while preventing catastrophic forgetting of previously learned ones. However, existing methods impose strict rigidity on old classes, reducing their effectiveness in learning new incremental classes. In this work, we propose Taxonomy-Oriented Poincar\’e-regularized Incremental-Class Segmentation (TOPICS) that learns feature embeddings in hyperbolic space following explicit taxonomy-tree structures. This supervision provides plasticity for old classes, updating ancestors based on new classes while integrating new classes at fitting positions. Additionally, we maintain implicit class relational constraints on the geometric basis of the Poincar\’e ball. This ensures that the latent space can continuously adapt to new constraints while maintaining a robust structure to combat catastrophic forgetting. We also establish eight realistic incremental learning protocols for autonomous driving scenarios, where novel classes can originate from known classes or the background. Extensive evaluations of TOPICS on the Cityscapes and Mapillary Vistas 2.0 benchmarks demonstrate that it achieves state-of-the-art performance. We make the code and trained models publicly available at http://topics.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL