Make Your Decision Convincing! A Unified Two-Stage Framework: Self-Attribution and Decision-Making

要約

ブラックボックス モデルの動作を自然言語で説明することにより、さまざまな NLP タスクで素晴らしい結果が得られました。
最近の研究では、入力テキストのサブシーケンスを理論的根拠として利用することが検討されており、モデルの決定をサポートする証拠がユーザーに提供されています。
既存のフレームワークは、高いタスクパフォ​​ーマンスを達成しながら高品質の根拠を生成する点では優れていますが、生成された根拠とモデルの決定の間の信頼性の低いリンクを考慮していません。
より簡単に言うと、モデルは間違った理論的根拠を帰属させながら正しい決定を下すこともあれば、正しい理論的根拠を帰属させながら誤った決定を下すこともあります。
この問題を軽減するために、自己帰属と意思決定 (SADM) として知られる統合された 2 段階のフレームワークを提案します。
ERASER ベンチマークの 5 つの推論データセットに対する広範な実験を通じて、私たちのフレームワークが、生成された理論的根拠とモデルの決定の間のより信頼性の高いリンクを確立するだけでなく、タスクのパフォーマンスと理論的根拠の品質において競争力のある結果を達成できることを実証しました。
さらに、半教師ありシナリオにおけるフレームワークの可能性を探ります。

要約(オリジナル)

Explaining black-box model behavior with natural language has achieved impressive results in various NLP tasks. Recent research has explored the utilization of subsequences from the input text as a rationale, providing users with evidence to support the model decision. Although existing frameworks excel in generating high-quality rationales while achieving high task performance, they neglect to account for the unreliable link between the generated rationale and model decision. In simpler terms, a model may make correct decisions while attributing wrong rationales, or make poor decisions while attributing correct rationales. To mitigate this issue, we propose a unified two-stage framework known as Self-Attribution and Decision-Making (SADM). Through extensive experiments on five reasoning datasets from the ERASER benchmark, we demonstrate that our framework not only establishes a more reliable link between the generated rationale and model decision but also achieves competitive results in task performance and the quality of rationale. Furthermore, we explore the potential of our framework in semi-supervised scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google