SATS: Self-Attention Transfer for Continual Semantic Segmentation

要約

より多くの種類の画像領域をセグメント化することを継続的に学習することは、多くのインテリジェント システムにとって望ましい機能です。
ただし、このような継続的なセマンティック セグメンテーションには、継続的な分類学習と同じ壊滅的な忘却の問題があります。
継続的分類のための元々の複数の知識蒸留戦略は、継続的セマンティック セグメンテーションにうまく適応されていますが、深い完全な畳み込みネットワークの 1 つ以上の層からの出力に基づいて古い知識を転送することのみを考慮しています。
既存のソリューションとは異なり、この研究では、知識に関連する新しいタイプの情報、つまり、クラス内およびクラス間の知識の両方をキャプチャできる各画像内の要素 (ピクセルまたは小さな局所領域など) 間の関係を転送することを提案します。
関係情報は、Transformer スタイルのセグメンテーション モデルの自己注意マップから効果的に取得できます。
各画像の同じクラスに属するピクセルは、多くの場合、同様の視覚特性を共有することを考慮して、知識伝達のためのより効率的な関係情報を提供するために、クラス固有の領域プーリングが適用されます。
複数の公開ベンチマークに関する広範な評価は、提案された自己注意転送方法が壊滅的な忘却の問題をさらに効果的に軽減できることを支持しており、1 つまたは複数の広く採用されている戦略との柔軟な組み合わせは、最先端のソリューションよりも大幅に優れています。

要約(オリジナル)

Continually learning to segment more and more types of image regions is a desired capability for many intelligent systems. However, such continual semantic segmentation suffers from the same catastrophic forgetting issue as in continual classification learning. While multiple knowledge distillation strategies originally for continual classification have been well adapted to continual semantic segmentation, they only consider transferring old knowledge based on the outputs from one or more layers of deep fully convolutional networks. Different from existing solutions, this study proposes to transfer a new type of information relevant to knowledge, i.e. the relationships between elements (Eg. pixels or small local regions) within each image which can capture both within-class and between-class knowledge. The relationship information can be effectively obtained from the self-attention maps in a Transformer-style segmentation model. Considering that pixels belonging to the same class in each image often share similar visual properties, a class-specific region pooling is applied to provide more efficient relationship information for knowledge transfer. Extensive evaluations on multiple public benchmarks support that the proposed self-attention transfer method can further effectively alleviate the catastrophic forgetting issue, and its flexible combination with one or more widely adopted strategies significantly outperforms state-of-the-art solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google