Delving into Transformer for Incremental Semantic Segmentation

要約

インクリメンタル セマンティック セグメンテーション (ISS) は、新しいクラスを段階的に追加することで古いモデルを更新する新たなタスクです。
現在、ISS では畳み込みニューラル ネットワークに基づく手法が主流です。
ただし、研究によると、そのような方法では、古いタスクで良好なパフォーマンスを維持しながら新しいタスクを学習するのが困難であることが示されています (壊滅的な忘却)。
対照的に、Transformer ベースの方法は、長期的および短期的なタスクの両方をモデル化できるため、壊滅的な忘却を抑制するという自然な利点があります。
この作業では、Transformer ベースのアーキテクチャが ISS により適している理由を探り、それに応じて、Incremental Semantic Segmentation のための Transformer ベースの方法である TISS を提案します。
さらに、ISS での転送可能性を維持しながら壊滅的な忘却をより緩和するために、2 つのパッチ単位の対照的な損失を導入して、それぞれ同様の機能を模倣し、機能の多様性を強化します。これにより、TISS のパフォーマンスをさらに向上させることができます。
Pascal-VOC 2012 および ADE20K データセットを使用した大規模な実験設定の下で、この方法は最先端のインクリメンタル セマンティック セグメンテーション方法よりも大幅に優れています。

要約(オリジナル)

Incremental semantic segmentation(ISS) is an emerging task where old model is updated by incrementally adding new classes. At present, methods based on convolutional neural networks are dominant in ISS. However, studies have shown that such methods have difficulty in learning new tasks while maintaining good performance on old ones (catastrophic forgetting). In contrast, a Transformer based method has a natural advantage in curbing catastrophic forgetting due to its ability to model both long-term and short-term tasks. In this work, we explore the reasons why Transformer based architecture are more suitable for ISS, and accordingly propose propose TISS, a Transformer based method for Incremental Semantic Segmentation. In addition, to better alleviate catastrophic forgetting while preserving transferability on ISS, we introduce two patch-wise contrastive losses to imitate similar features and enhance feature diversity respectively, which can further improve the performance of TISS. Under extensive experimental settings with Pascal-VOC 2012 and ADE20K datasets, our method significantly outperforms state-of-the-art incremental semantic segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google