Explaining Interactions Between Text Spans

要約

入力のさまざまな部分からのトークンのスパンにわたる推論は、ファクト チェック (FC)、機械読解 (MRC)、または自然言語推論 (NLI) などの自然言語理解 (NLU) タスクに不可欠です。
ただし、既存のハイライトベースの説明は主に、個々の重要なトークン、または隣接するトークンまたはトークンのタプル間の相互作用のみを識別することに焦点を当てています。
最も注目すべきは、人間の意思決定プロセスを記録する注釈が欠如していることです。
このようなタスクにおいて情報に基づいた意思決定を行うために必要な対話。
このギャップを埋めるために、NLI と FC という 2 つの NLU タスクに対するヒューマン スパン インタラクション説明のマルチ アノテーター データセットである SpanEx を導入します。
次に、入力の別々の部分のスパン間の使用された接続の観点から、複数の微調整された大規模言語モデルの意思決定プロセスを調査し、それらを人間の推論プロセスと比較します。
最後に、モデルの内部動作からそのような相互作用の説明を抽出するための、新しいコミュニティ検出ベースの教師なし手法を紹介します。

要約(オリジナル)

Reasoning over spans of tokens from different parts of the input is essential for natural language understanding (NLU) tasks such as fact-checking (FC), machine reading comprehension (MRC) or natural language inference (NLI). However, existing highlight-based explanations primarily focus on identifying individual important tokens or interactions only between adjacent tokens or tuples of tokens. Most notably, there is a lack of annotations capturing the human decision-making process w.r.t. the necessary interactions for informed decision-making in such tasks. To bridge this gap, we introduce SpanEx, a multi-annotator dataset of human span interaction explanations for two NLU tasks: NLI and FC. We then investigate the decision-making processes of multiple fine-tuned large language models in terms of the employed connections between spans in separate parts of the input and compare them to the human reasoning processes. Finally, we present a novel community detection based unsupervised method to extract such interaction explanations from a model’s inner workings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google