Using Interpretation Methods for Model Enhancement

要約

ニューラル自然言語処理の時代には、ニューラル モデルの解釈を導き出そうとする研究が数多くあります。
直観的には、トレーニング中にゴールド理論的根拠が存在する場合、その解釈と理論的根拠を一致させるためにモデルをさらにトレーニングすることができます。
ただし、この直感的なアイデアは十分に検討されていません。
この論文では、モデルを強化するために解釈方法とゴールド理論を利用するフレームワークを提案します。
私たちのフレームワークは、さまざまな解釈方法を組み込むことができるという意味で非常に一般的です。
以前に提案された勾配ベースの方法は、フレームワークのインスタンスとして示すことができます。
また、モデル拡張のために、他の 2 つのタイプの解釈方法、消去/置換ベースの方法と抽出ベースの方法を利用する 2 つの新しいインスタンスも提案します。
さまざまな課題について総合的な実験を行っています。
実験結果は、私たちのフレームワークが、さまざまな解釈方法でモデルを強化する際に、特に低リソース設定で効果的であること、および私たちが新たに提案した 2 つの方法が、ほとんどの設定で勾配ベースの方法よりも優れていることを示しています。
コードは https://github.com/Chord-Chen-30/UIMER で入手できます。

要約(オリジナル)

In the age of neural natural language processing, there are plenty of works trying to derive interpretations of neural models. Intuitively, when gold rationales exist during training, one can additionally train the model to match its interpretation with the rationales. However, this intuitive idea has not been fully explored. In this paper, we propose a framework of utilizing interpretation methods and gold rationales to enhance models. Our framework is very general in the sense that it can incorporate various interpretation methods. Previously proposed gradient-based methods can be shown as an instance of our framework. We also propose two novel instances utilizing two other types of interpretation methods, erasure/replace-based and extractor-based methods, for model enhancement. We conduct comprehensive experiments on a variety of tasks. Experimental results show that our framework is effective especially in low-resource settings in enhancing models with various interpretation methods, and our two newly-proposed methods outperform gradient-based methods in most settings. Code is available at https://github.com/Chord-Chen-30/UIMER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google