Taxonomy-Aware Continual Semantic Segmentation in Hyperbolic Spaces for Open-World Perception

要約

セマンティック セグメンテーション モデルは通常、固定されたクラスのセットでトレーニングされるため、オープンワールド シナリオへの適用性は制限されます。
クラス増分セマンティック セグメンテーションは、以前に学習したクラスの致命的な忘れを防ぎながら、新しいクラスでモデルを更新することを目的としています。
ただし、既存の方法では古いクラスに厳格な制限が課せられ、新しい増分クラスを学習する効率が低下します。
この研究では、明示的な分類ツリー構造に従って双曲空間内の特徴の埋め込みを学習する分類指向ポアンカレ正規化増分クラス セグメンテーション (TOPICS) を提案します。
この監視により、古いクラスに可塑性が提供され、新しいクラスをフィッティング位置に統合しながら、新しいクラスに基づいて祖先が更新されます。
さらに、ポアンカレ ボールの幾何学的基礎に基づいた暗黙のクラス リレーショナル制約を維持します。
これにより、壊滅的な忘却と闘う堅牢な構造を維持しながら、潜在空間が新しい制約に継続的に適応できることが保証されます。
また、自動運転シナリオ用の 8 つの現実的な増分学習プロトコルも確立します。このプロトコルでは、既知のクラスまたはバックグラウンドから新しいクラスを生成できます。
Cityscapes および Mapillary Vistas 2.0 ベンチマークでの TOPICS の広範な評価により、TOPICS が最先端のパフォーマンスを達成していることが実証されています。
コードとトレーニング済みモデルは http://topics.cs.uni-freiburg.de で公開されています。

要約(オリジナル)

Semantic segmentation models are typically trained on a fixed set of classes, limiting their applicability in open-world scenarios. Class-incremental semantic segmentation aims to update models with emerging new classes while preventing catastrophic forgetting of previously learned ones. However, existing methods impose strict rigidity on old classes, reducing their effectiveness in learning new incremental classes. In this work, we propose Taxonomy-Oriented Poincar\’e-regularized Incremental-Class Segmentation (TOPICS) that learns feature embeddings in hyperbolic space following explicit taxonomy-tree structures. This supervision provides plasticity for old classes, updating ancestors based on new classes while integrating new classes at fitting positions. Additionally, we maintain implicit class relational constraints on the geometric basis of the Poincar\’e ball. This ensures that the latent space can continuously adapt to new constraints while maintaining a robust structure to combat catastrophic forgetting. We also establish eight realistic incremental learning protocols for autonomous driving scenarios, where novel classes can originate from known classes or the background. Extensive evaluations of TOPICS on the Cityscapes and Mapillary Vistas 2.0 benchmarks demonstrate that it achieves state-of-the-art performance. We make the code and trained models publicly available at http://topics.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google