Parallel Sentence-Level Explanation Generation for Real-World Low-Resource Scenarios

要約

モデル予測の背後にある理論的根拠を明らかにするために、多くの研究がさまざまな形式で説明を提供することを利用してきました。
最近では、読みやすさをさらに保証するために、文章レベルの人間の言語による説明を生成する作品が増えています。
ただし、文レベルの説明を追求する現在の作業は、注釈付きのトレーニング データに大きく依存しているため、解釈可能性の開発はわずかなタスクに制限されています。
私たちが知る限り、この論文は、弱い教師あり学習から教師なし学習まで、この問題をスムーズに調査した最初の論文です。
さらに、自己回帰文レベルの説明生成の待ち時間が長く、予測後の非同期解釈可能性につながることにも気付きました。
したがって、並列説明生成と同時予測を容易にするために、非自己回帰の解釈可能なモデルを提案します。
自然言語推論タスクと配偶者予測タスクに関する広範な実験を通じて、ユーザーは、注釈付きトレーニング データをほとんどまたはまったく使用せずに並列説明生成を使用して、同等のパフォーマンスで分類器を $10-15\times$ 速くトレーニングできることがわかりました。

要約(オリジナル)

In order to reveal the rationale behind model predictions, many works have exploited providing explanations in various forms. Recently, to further guarantee readability, more and more works turn to generate sentence-level human language explanations. However, current works pursuing sentence-level explanations rely heavily on annotated training data, which limits the development of interpretability to only a few tasks. As far as we know, this paper is the first to explore this problem smoothly from weak-supervised learning to unsupervised learning. Besides, we also notice the high latency of autoregressive sentence-level explanation generation, which leads to asynchronous interpretability after prediction. Therefore, we propose a non-autoregressive interpretable model to facilitate parallel explanation generation and simultaneous prediction. Through extensive experiments on Natural Language Inference task and Spouse Prediction task, we find that users are able to train classifiers with comparable performance $10-15\times$ faster with parallel explanation generation using only a few or no annotated training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google