Differentiating Choices via Commonality for Multiple-Choice Question Answering

要約

すべての選択肢が質問に関連しており、意味的に類似している場合、多肢選択質問応答 (MCQA) は特に困難になります。
しかし、MCQA のこの設定は、正しい答えを選択するための貴重な手がかりを提供する可能性があります。
既存のモデルは、多くの場合、各選択肢を個別にランク付けし、他の選択肢によって提供されるコンテキストを無視します。
具体的には、推論のための選択肢間の意味上の共通性やニュアンスを活用できません。
この論文では、DCQA と呼ばれる、共通性を特定して排除することで選択肢を差別化する新しい MCQA モデルを提案します。
私たちのモデルは、質問に対する各選択肢のトークンレベルの注意を捕捉し、すべての選択肢 (つまり、共通性) によって注目された質問のトークンを、個々の選択肢 (つまり、ニュアンス) によるものから分離します。
選択肢の洗練されたコンテキストとしてニュアンスを使用することで、私たちのモデルは微妙な違いで選択肢を効果的に区別し、正しい答えを選択する正当な理由を提供できます。
私たちは、一般的に使用される 5 つの MCQA ベンチマークにわたって包括的な実験を実施し、DCQA がベースライン モデルを一貫して上回るパフォーマンスを示しています。
さらに、私たちのケーススタディは、モデルの注意をより差別化できる機能に向ける際のアプローチの有効性を示しています。

要約(オリジナル)

Multiple-choice question answering (MCQA) becomes particularly challenging when all choices are relevant to the question and are semantically similar. Yet this setting of MCQA can potentially provide valuable clues for choosing the right answer. Existing models often rank each choice separately, overlooking the context provided by other choices. Specifically, they fail to leverage the semantic commonalities and nuances among the choices for reasoning. In this paper, we propose a novel MCQA model by differentiating choices through identifying and eliminating their commonality, called DCQA. Our model captures token-level attention of each choice to the question, and separates tokens of the question attended to by all the choices (i.e., commonalities) from those by individual choices (i.e., nuances). Using the nuances as refined contexts for the choices, our model can effectively differentiate choices with subtle differences and provide justifications for choosing the correct answer. We conduct comprehensive experiments across five commonly used MCQA benchmarks, demonstrating that DCQA consistently outperforms baseline models. Furthermore, our case study illustrates the effectiveness of the approach in directing the attention of the model to more differentiating features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google