Navigating Shortcuts, Spurious Correlations, and Confounders: From Origins via Detection to Mitigation

要約

賢いハンスの動作、偽の相関、または交絡因子とも呼ばれるショートカットは、機械学習と AI に重大な課題をもたらし、モデルの一般化と堅牢性に重大な影響を与えます。
しかし、この分野の研究はさまざまな用語にわたって断片化されたままであり、この分野全体の進歩を妨げています。
したがって、ショートカットの正式な定義を提供し、文献で使用されている多様な用語の橋渡しをすることによって、ショートカット学習の統一的な分類法を導入します。
そうすることで、類似点は存在するもののほとんど議論されない、バイアス、因果関係、セキュリティなどの関連分野とショートカットとの重要なつながりをさらに確立します。
私たちの分類法は、ショートカットの検出と緩和のための既存のアプローチを整理し、この分野の現状の包括的な概要を提供し、未踏の領域と未解決の課題を明らかにします。
さらに、ショートカット学習の研究に合わせたデータセットを編集して分類します。
全体として、この研究は理解を深め、機械学習の近道に対処するためのより効果的な戦略の開発を推進するための全体的な視点を提供します。

要約(オリジナル)

Shortcuts, also described as Clever Hans behavior, spurious correlations, or confounders, present a significant challenge in machine learning and AI, critically affecting model generalization and robustness. Research in this area, however, remains fragmented across various terminologies, hindering the progress of the field as a whole. Consequently, we introduce a unifying taxonomy of shortcut learning by providing a formal definition of shortcuts and bridging the diverse terms used in the literature. In doing so, we further establish important connections between shortcuts and related fields, including bias, causality, and security, where parallels exist but are rarely discussed. Our taxonomy organizes existing approaches for shortcut detection and mitigation, providing a comprehensive overview of the current state of the field and revealing underexplored areas and open challenges. Moreover, we compile and classify datasets tailored to study shortcut learning. Altogether, this work provides a holistic perspective to deepen understanding and drive the development of more effective strategies for addressing shortcuts in machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google