Evaluating Saliency Explanations in NLP by Crowdsourcing

要約

深層学習モデルは、多くの NLP タスクで良好なパフォーマンスを示しています。
ただし、その内部メカニズムは通常、人間が理解するのが困難です。
モデルを説明する方法の開発は、多くの重要なアプリケーションにおける深層学習モデルの信頼性において重要な問題となっています。
モデルが最も重視する入力の部分を決定するために、入力の各特徴に出力の寄与に比例したスコアを与えるさまざまな顕著性説明方法が提案されています。
顕著性手法の評価に関してはかなりの量の研究が行われているにもかかわらず、さまざまな評価指標の結果が人間の認知と一致するかどうかは未解決の問題のままです。
本研究では、クラウドソーシングによるNLPにおける顕著性手法を人間ベースで評価する新しい手法を提案します。
私たちは 800 人のクラウド ワーカーを募集し、提案された手法を使用して 2 つのデータセットに対して 7 つの顕著性手法を実証的に評価しました。
私たちは顕著性手法のパフォーマンスを分析し、結果を既存の自動評価手法と比較し、顕著性手法を使用した場合の NLP 分野とコンピューター ビジョン (CV) 分野の顕著な違いを特定しました。
クラウドソーシングによる実験のインスタンスレベルのデータと説明を再現するコードは、https://github.com/xtlu/lreccoling_evaluation で入手できます。

要約(オリジナル)

Deep learning models have performed well on many NLP tasks. However, their internal mechanisms are typically difficult for humans to understand. The development of methods to explain models has become a key issue in the reliability of deep learning models in many important applications. Various saliency explanation methods, which give each feature of input a score proportional to the contribution of output, have been proposed to determine the part of the input which a model values most. Despite a considerable body of work on the evaluation of saliency methods, whether the results of various evaluation metrics agree with human cognition remains an open question. In this study, we propose a new human-based method to evaluate saliency methods in NLP by crowdsourcing. We recruited 800 crowd workers and empirically evaluated seven saliency methods on two datasets with the proposed method. We analyzed the performance of saliency methods, compared our results with existing automated evaluation methods, and identified notable differences between NLP and computer vision (CV) fields when using saliency methods. The instance-level data of our crowdsourced experiments and the code to reproduce the explanations are available at https://github.com/xtlu/lreccoling_evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google