Being Right for Whose Right Reasons?

要約

説明可能性手法は、モデルの予測が人間の理論的根拠とどの程度一致しているか、つまり「正しい理由で正しい」かどうかをベンチマークするために使用されます。
しかし、これまでの研究は、理論的根拠として重要なものが主観的なものであることを認識できていませんでした。
この論文は、アノテーターの人口統計情報で強化された人間の理論的根拠によるアノテーションのコレクションであり、この種のものとしては初めてであると考えられるものを提示します。
感情分析と常識的推論にまたがる 3 つのデータセットと、6 つの人口統計グループ (年齢と民族間でバランスがとれた) をカバーします。
このようなデータにより、私たちの予測がどのような人口統計と一致しているのか、そしてモデルの理論的根拠が誰の推論パターンと一致しているのかを知ることができます。
私たちは、グループ間のアノテーター間の体系的な不一致を発見し、16 の Transformer ベースのモデルが特定の人口統計グループによって提供される理論的根拠とどのようによりよく一致するかを示します。モデルは、年配のアノテーターおよび/または白人のアノテーターと最もよく一致するように偏っていることがわかります。
私たちはモデル サイズとモデル蒸留の効果に焦点を当て、予想に反して、モデル サイズと理論的根拠の一致の間に負の相関があること、およびモデル サイズとモデル蒸留のいずれかが公平性を向上させるという証拠がないことを発見しました。

要約(オリジナル)

Explainability methods are used to benchmark the extent to which model predictions align with human rationales i.e., are ‘right for the right reasons’. Previous work has failed to acknowledge, however, that what counts as a rationale is sometimes subjective. This paper presents what we think is a first of its kind, a collection of human rationale annotations augmented with the annotators demographic information. We cover three datasets spanning sentiment analysis and common-sense reasoning, and six demographic groups (balanced across age and ethnicity). Such data enables us to ask both what demographics our predictions align with and whose reasoning patterns our models’ rationales align with. We find systematic inter-group annotator disagreement and show how 16 Transformer-based models align better with rationales provided by certain demographic groups: We find that models are biased towards aligning best with older and/or white annotators. We zoom in on the effects of model size and model distillation, finding — contrary to our expectations — negative correlations between model size and rationale agreement as well as no evidence that either model size or model distillation improves fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google