Regularization, Semi-supervision, and Supervision for a Plausible Attention-Based Explanation

要約

アテンション メカニズムは、自然言語処理のための機械学習における最近の進歩の大部分に貢献しています。
さらに、決定における各入力の比例的な影響を示すアテンション マップが生成されます。
実証研究では、モデル出力の説明としてアテンション マップを提供できると仮定しています。
ただし、この説明が一般の人々にモデルの出力を理解して受け入れるのに役立つかどうか（説明の妥当性）には依然として疑問があります。
最近の研究では、RNN エンコーダーのアテンションの重みは入力トークン上で拡散するため、ほとんど妥当ではないことが示されています。
したがって、注意マップの妥当性を向上させるために、学習目的関数に 3 つの追加制約を提案します。注意の重みのスパース性を高めるための正則化、ヒューリスティックによってマップを監視する半監視、および人間の注釈による監視です。
結果は、すべての手法がアテンション マップの妥当性をある程度のレベルで向上できることを示しています。
また、ヒューマン アノテーションに対する特定の指示が分類パフォーマンスに悪影響を与える可能性があることも観察しています。
アテンション マップ以外にも、テキスト分類タスクに関する実験の結果は、制約がどのような利益をもたらすかに関係なく、妥当なトークンを見つけるための適切なスペースを見つける上で文脈化レイヤーが重要な役割を果たすことも示しています。

要約(オリジナル)

Attention mechanism is contributing to the majority of recent advances in machine learning for natural language processing. Additionally, it results in an attention map that shows the proportional influence of each input in its decision. Empirical studies postulate that attention maps can be provided as an explanation for model output. However, it is still questionable to ask whether this explanation helps regular people to understand and accept the model output (the plausibility of the explanation). Recent studies show that attention weights in the RNN encoders are hardly plausible because they spread on input tokens. We thus propose 3 additional constraints to the learning objective function to improve the plausibility of the attention map: regularization to increase the attention weight sparsity, semi-supervision to supervise the map by a heuristic and supervision by human annotation. Results show that all techniques can improve the attention map plausibility at some level. We also observe that specific instructions for human annotation might have a negative effect on classification performance. Beyond the attention map, the result of experiments on text classification tasks also shows that no matter how the constraint brings the gain, the contextualization layer plays a crucial role in finding the right space for finding plausible tokens.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google