A Study of the Plausibility of Attention between RNN Encoders in Natural Language Inference

要約

NLP のニューラル モデルのアテンション マップは、モデルによって行われた決定を説明するのに魅力的で、できればその決定を正当化する言葉を強調します。
多くの実証研究は、音声例の分析からアテンション マップがそのような正当化を提供できることを示唆していますが、アテンション マップに基づく説明の妥当性、つまり人間が意思決定を理解するためのアテンション マップの有用性を評価している研究はわずかです。
これらの研究はさらにテキスト分類に焦点を当てています。
この論文では、文比較タスク、つまり自然言語推論におけるアテンション マップの予備評価について報告します。
eSNLI コーパス上の人間ベースおよびヒューリスティックベースのアノテーションを使用して、2 つの RNN エンコーダー間のクロスアテンションの重みを比較します。
ヒューリスティックは人間による注釈と合理的に相関しており、したがって文章比較タスクにおけるもっともらしい説明の評価を容易にできることを示します。
ただし、生の注意の重みは、もっともらしい説明と大まかに関連しているだけです。

要約(オリジナル)

Attention maps in neural models for NLP are appealing to explain the decision made by a model, hopefully emphasizing words that justify the decision. While many empirical studies hint that attention maps can provide such justification from the analysis of sound examples, only a few assess the plausibility of explanations based on attention maps, i.e., the usefulness of attention maps for humans to understand the decision. These studies furthermore focus on text classification. In this paper, we report on a preliminary assessment of attention maps in a sentence comparison task, namely natural language inference. We compare the cross-attention weights between two RNN encoders with human-based and heuristic-based annotations on the eSNLI corpus. We show that the heuristic reasonably correlates with human annotations and can thus facilitate evaluation of plausible explanations in sentence comparison tasks. Raw attention weights however remain only loosely related to a plausible explanation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google