Plausible Extractive Rationalization through Semi-Supervised Entailment Signal

要約

複雑で不透明なブラック ボックス モデルの使用が増加しているため、解釈可能な手段の採用が必要です。そのようなオプションの 1 つが、より解釈可能な代替手段として機能する抽出的合理化モデルです。
これらのモデルは、Explain-Then-Predict モデルとも呼ばれ、説明者モデルを使用して根拠を抽出し、その後、抽出された情報で予測者を条件付けします。
彼らの主な目的は、抽出された理論的根拠に代表される、正確かつ忠実な説明を提供することです。
この論文では、抽出された根拠の妥当性を最適化するために半教師ありアプローチを採用します。
事前トレーニングされた自然言語推論 (NLI) モデルを採用し、教師付き理論的根拠の小さなセット ($10\%$) に基づいてさらに微調整します。
NLI 予測子は、含意調整を介して説明者への監視シグナルのソースとして利用されます。
質問応答タスクにおける説明と回答の間の整合性の一致を強制することで、グラウンド トゥルース ラベルにアクセスしなくてもパフォーマンスを向上できることを示します。
ERASER データセットに対するアプローチを評価し、このアプローチが教師あり抽出モデルと同等の結果を達成し、教師なしアプローチよりも $> 100\%$ 優れていることを示します。

要約(オリジナル)

The increasing use of complex and opaque black box models requires the adoption of interpretable measures, one such option is extractive rationalizing models, which serve as a more interpretable alternative. These models, also known as Explain-Then-Predict models, employ an explainer model to extract rationales and subsequently condition the predictor with the extracted information. Their primary objective is to provide precise and faithful explanations, represented by the extracted rationales. In this paper, we take a semi-supervised approach to optimize for the plausibility of extracted rationales. We adopt a pre-trained natural language inference (NLI) model and further fine-tune it on a small set of supervised rationales ($10\%$). The NLI predictor is leveraged as a source of supervisory signals to the explainer via entailment alignment. We show that, by enforcing the alignment agreement between the explanation and answer in a question-answering task, the performance can be improved without access to ground truth labels. We evaluate our approach on the ERASER dataset and show that our approach achieves comparable results with supervised extractive models and outperforms unsupervised approaches by $> 100\%$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google