Mitigating Biased Activation in Weakly-supervised Object Localization via Counterfactual Learning

要約

この論文では、クラス アクティベーション マッピング (CAM) に基づいた、これまでの弱く監視されたオブジェクト位置特定手法におけるバイアスされたアクティベーションという十分に研究されていない問題に焦点を当てます。
私たちはこの問題の原因を因果関係の観点から分析し、同時発生する背景交絡因子に起因すると考えます。
この洞察に従って、我々は、共起関係を遮断するために、一定の前景と実現されていない背景を結合することによって反事実表現を合成する、新しい反事実共起学習 (CCL) パラダイムを提案します。
具体的には、Counterfactual-CAM と呼ばれる新しいネットワーク構造を設計します。これは、反事実表現摂動メカニズムを標準的な CAM ベースのモデルに埋め込みます。
このメカニズムは、前景と背景を切り離し、反事実的な表現を合成する役割を果たします。
これらの合成表現を使用して検出モデルをトレーニングすることにより、同時発生する邪魔な背景の影響を最小限に抑えながら、モデルが一定の前景コンテンツに焦点を合わせるように強制されます。
私たちの知る限り、これはこの方向での初めての試みです。
いくつかのベンチマークに関する広範な実験により、Counterfactual-CAM が偏った活性化問題を軽減し、オブジェクトの位置特定精度の向上を達成することが実証されました。

要約(オリジナル)

In this paper, we focus on an under-explored issue of biased activation in prior weakly-supervised object localization methods based on Class Activation Mapping (CAM). We analyze the cause of this problem from a causal view and attribute it to the co-occurring background confounders. Following this insight, we propose a novel Counterfactual Co-occurring Learning (CCL) paradigm to synthesize the counterfactual representations via coupling constant foreground and unrealized backgrounds in order to cut off their co-occurring relationship. Specifically, we design a new network structure called Counterfactual-CAM, which embeds the counterfactual representation perturbation mechanism into the vanilla CAM-based model. This mechanism is responsible for decoupling foreground as well as background and synthesizing the counterfactual representations. By training the detection model with these synthesized representations, we compel the model to focus on the constant foreground content while minimizing the influence of distracting co-occurring background. To our best knowledge, it is the first attempt in this direction. Extensive experiments on several benchmarks demonstrate that Counterfactual-CAM successfully mitigates the biased activation problem, achieving improved object localization accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google