MARE: Multi-Aspect Rationale Extractor on Unsupervised Rationale Extraction

要約

教師なし理論的根拠抽出は、明示的な理論的根拠のアノテーションなしに、モデル予測をサポートするテキストスニペットを抽出することを目的としている。研究者はこのタスクを解決するために多くの努力を行ってきた。これまでの研究では、各アスペクトを独立にエンコードすることが多く、アスペクト間の意味のある内部相関を捉える能力が制限される可能性がある。スプリアス相関を軽減するための重要な研究がある一方で、我々のアプローチは、マルチアスペクトの根拠抽出を改善するために、有益な内部相関を活用することに焦点を当てている。本稿では、複数のアスペクトを同時に説明・予測するためのマルチアスペクト理由抽出器（Multi-Aspect Rationale Extractor：MARE）を提案する。具体的には、複数のテキストチャンクを同時に符号化するために、ハード削除に基づくMulti-Aspect Multi-Head Attention (MAMHA)メカニズムを提案する。さらに、複数の特別なトークンがテキストの前に付加され、それぞれがある特定のアスペクトに対応する。最後に、学習のオーバーヘッドを削減するためにマルチタスク学習が導入される。2つの教師なし根拠抽出ベンチマークに対する実験結果は、MAREが最先端の性能を達成していることを示している。さらに、アブレーション研究により、我々の手法の有効性が実証された。我々のコードはhttps://github.com/CSU-NLP-Group/MARE。

要約(オリジナル)

Unsupervised rationale extraction aims to extract text snippets to support model predictions without explicit rationale annotation. Researchers have made many efforts to solve this task. Previous works often encode each aspect independently, which may limit their ability to capture meaningful internal correlations between aspects. While there has been significant work on mitigating spurious correlations, our approach focuses on leveraging the beneficial internal correlations to improve multi-aspect rationale extraction. In this paper, we propose a Multi-Aspect Rationale Extractor (MARE) to explain and predict multiple aspects simultaneously. Concretely, we propose a Multi-Aspect Multi-Head Attention (MAMHA) mechanism based on hard deletion to encode multiple text chunks simultaneously. Furthermore, multiple special tokens are prepended in front of the text with each corresponding to one certain aspect. Finally, multi-task training is deployed to reduce the training overhead. Experimental results on two unsupervised rationale extraction benchmarks show that MARE achieves state-of-the-art performance. Ablation studies further demonstrate the effectiveness of our method. Our codes have been available at https://github.com/CSU-NLP-Group/MARE.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL