Discovering Highly Influential Shortcut Reasoning: An Automated Template-Free Approach

要約

ショートカット推論は非合理的な推論プロセスであり、NLP モデルの堅牢性を低下させます。
これまでの多くの研究でショートカット推論の特定に取り組んできましたが、依然として 2 つの大きな制限があります。(i) 発見されたショートカット推論の重大度を定量化する方法が提供されていない。
(ii) 特定のタイプのショートカット推論が見逃される可能性があります。
これらの問題に対処するために、ショートカット推論を特定するための新しい方法を提案します。
提案された方法は、配布外のデータを利用してショートカット推論の重大度を定量化し、ショートカット推論をトリガーするトークンの種類については何も仮定しません。
自然言語推論と感情分析に関する私たちの実験は、私たちのフレームワークが以前の研究で既知および未知のショートカット推論を首尾よく発見したことを示しています。

要約(オリジナル)

Shortcut reasoning is an irrational process of inference, which degrades the robustness of an NLP model. While a number of previous work has tackled the identification of shortcut reasoning, there are still two major limitations: (i) a method for quantifying the severity of the discovered shortcut reasoning is not provided; (ii) certain types of shortcut reasoning may be missed. To address these issues, we propose a novel method for identifying shortcut reasoning. The proposed method quantifies the severity of the shortcut reasoning by leveraging out-of-distribution data and does not make any assumptions about the type of tokens triggering the shortcut reasoning. Our experiments on Natural Language Inference and Sentiment Analysis demonstrate that our framework successfully discovers known and unknown shortcut reasoning in the previous work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google