RFiD: Towards Rational Fusion-in-Decoder for Open-Domain Question Answering

要約

オープンドメイン質問応答 (ODQA) システムには、複数の文章を同時に参照して回答を生成できるリーダー モデルが必要です。
この課題に対処するために、Fusion-in-Decoder (FiD) などの代表的なモデルが提案されていますが、これらのシステムは、質問と文章の間の真の因果関係ではなく、誤って偽の特徴に依存して回答を生成する可能性があります。
この問題に対処するために、Rational Fusion-in-Decoder (RFiD) モデルを導入します。
私たちのモデルは、FiD のエンコーダーを活用して因果関係と偽の特徴を区別し、その後、この識別情報に基づいて回答を生成するようにデコーダーを導きます。
Natural question (NQ) と TriviaQA (TQ) の 2 つの ODQA データセットの実験結果は、私たちのモデルが以前の方法を上回り、NQ の完全一致スコアで最大 1.5 および 0.7 の改善を達成し、因果関係を特定する能力の向上を示していることを示しています。
。

要約(オリジナル)

Open-Domain Question Answering (ODQA) systems necessitate a reader model capable of generating answers by simultaneously referring to multiple passages. Although representative models like Fusion-in-Decoder (FiD) have been proposed to address this challenge, these systems can inadvertently rely on spurious features instead of genuine causal relationships between the question and the passages to generate answers. To counter this problem, we introduce the Rational Fusion-in-Decoder (RFiD) model. Our model leverages the encoders of FiD to differentiate between causal relationships and spurious features, subsequently guiding the decoder to generate answers informed by this discernment. Experimental results on two ODQA datasets, Natural Questions (NQ) and TriviaQA (TQ), demonstrate that our model surpasses previous methods, achieving improvements of up to 1.5 and 0.7 in Exact Match scores on NQ, and exhibits an enhanced ability to identify causal relationships.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google