SCISSOR: Mitigating Semantic Bias through Cluster-Aware Siamese Networks for Robust Classification

要約

ショートカット学習は、分散除外データへのモデルの一般化を損ないます。
文献は、ショートカットを表面的な特徴のバイアスに帰しますが、サンプル埋め込みのセマンティック分布の不均衡が偽のセマンティック相関を誘発し、モデルの堅牢性を損なうことを示します。
この問題に対処するために、ショートカットとして悪用される潜在的なクラスターを思いとどまらせることでセマンティックスペースを再マップするシャムネットワークベースの紛失アプローチである、シザー（ショートカットを抑制するためのセマンティッククラスター介入）を提案します。
以前のデータ脱バイアシングアプローチとは異なり、サイザーはデータの増強と書き換えの必要性を排除します。
4つのベンチマークの6つのモデルでサイザーを評価します。Chest-XrayとNot-Mnist in Computer Vision、およびNLPタスクのGyafcとYelpです。
いくつかのベースラインと比較して、ScissorはGYAFCでF1スコアの+5.3絶対ポイント、Yelpの+7.3、Chest-Xrayで+7.7、Not-Mnistで+1を報告しています。
シザーは、コンピュータービジョンデータセットでのVITのF1が約9.5％改善された軽量モデルでも非常に有利であり、NLPでのBERTで〜11.9％です。
私たちの研究は、見落とされたセマンティックバイアスに対処し、シザーをショートカット学習を緩和し、より堅牢でバイアス耐性のAIシステムを促進するための基礎的な枠組みとして確立することにより、モデルの一般化の景観を再定義します。

要約(オリジナル)

Shortcut learning undermines model generalization to out-of-distribution data. While the literature attributes shortcuts to biases in superficial features, we show that imbalances in the semantic distribution of sample embeddings induce spurious semantic correlations, compromising model robustness. To address this issue, we propose SCISSOR (Semantic Cluster Intervention for Suppressing ShORtcut), a Siamese network-based debiasing approach that remaps the semantic space by discouraging latent clusters exploited as shortcuts. Unlike prior data-debiasing approaches, SCISSOR eliminates the need for data augmentation and rewriting. We evaluate SCISSOR on 6 models across 4 benchmarks: Chest-XRay and Not-MNIST in computer vision, and GYAFC and Yelp in NLP tasks. Compared to several baselines, SCISSOR reports +5.3 absolute points in F1 score on GYAFC, +7.3 on Yelp, +7.7 on Chest-XRay, and +1 on Not-MNIST. SCISSOR is also highly advantageous for lightweight models with ~9.5% improvement on F1 for ViT on computer vision datasets and ~11.9% for BERT on NLP. Our study redefines the landscape of model generalization by addressing overlooked semantic biases, establishing SCISSOR as a foundational framework for mitigating shortcut learning and fostering more robust, bias-resistant AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google