Mitigating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation

要約

タイトル：Transformerにおける不正規なオーバースムージングの緩和のための弱く監視された意味的セグメンテーションのための手法

要約：

– 弱く監視された意味的セグメンテーションには、最近の効率性により、多くの関心が集まっている。
– この技術に基づく既存の手法は、主にグローバルな関係性を持つCAMsを向上させるためのアフィニティマトリックスの探索に重点を置いている。
– 本研究では、連続したアフィニティマトリックスの影響について慎重に調査し、ネットワークが収束に近づくにつれて、稀疏化の傾向があることを発見した。
– そのため、不正規なオーバースムージング現象により、多くの意味的に関係のない背景ノイズが導入され、パフォーマンスが低下する可能性があると考えられる。
– この問題を解決するために、我々は、特徴の領域を調べることにより、対象物を強調する新しい視点を提唱した。
– その結果、我々は適応的再活性化メカニズム（AReAM）を提案し、それによってオブジェクト内の不完全な注目と無制限の背景ノイズの問題を緩和した。
– AReAMは、浅いアフィニティマトリックスで高レベルの注目を監視することによって、セグメンテーションの結果を改善し、細分化された地域に注意を向けるように深い層の各アフィニティマトリックスに制限を加えることができる。
– 一般的に使用されるデータセットで実施された綿密な実験の結果、提案されたAReAMによってセグメンテーションの結果が大幅に改善されることが示された。

要約(オリジナル)

A surge of interest has emerged in weakly supervised semantic segmentation due to its remarkable efficiency in recent years. Existing approaches based on transformers mainly focus on exploring the affinity matrix to boost CAMs with global relationships. While in this work, we first perform a scrupulous examination towards the impact of successive affinity matrices and discover that they possess an inclination toward sparsification as the network approaches convergence, hence disclosing a manifestation of over-smoothing. Besides, it has been observed that enhanced attention maps tend to evince a substantial amount of extraneous background noise in deeper layers. Drawing upon this, we posit a daring conjecture that the undisciplined over-smoothing phenomenon introduces a noteworthy quantity of semantically irrelevant background noise, causing performance degradation. To alleviate this issue, we propose a novel perspective that highlights the objects of interest by investigating the regions of the trait, thereby fostering an extensive comprehension of the successive affinity matrix. Consequently, we suggest an adaptive re-activation mechanism (AReAM) that alleviates the issue of incomplete attention within the object and the unbounded background noise. AReAM accomplishes this by supervising high-level attention with shallow affinity matrices, yielding promising results. Exhaustive experiments conducted on the commonly used dataset manifest that segmentation results can be greatly improved through our proposed AReAM, which imposes restrictions on each affinity matrix in deep layers to make it attentive to semantic regions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI