Enhancing Answer Selection in Community Question Answering with Pre-trained and Large Language Models

要約

近年、コミュニティ質問応答 (CQA) がますます普及してきています。
しかし、回答の数が膨大であるため、ユーザーが適切な回答を選択するのは困難です。
したがって、回答の選択は CQA の非常に重要なサブタスクです。
この論文では、まず、回答選択用の事前トレーニング済みモデルを備えた質問回答クロスアテンション ネットワーク (QAN) を提案し、大規模言語モデル (LLM) を利用して知識拡張による回答選択を実行します。
具体的には、BERT モデルをエンコーダー層として適用して、質問の件名、質問の本文、回答のそれぞれについて事前トレーニングを行い、クロス アテンション メカニズムがさまざまな質問に対して最も関連性の高い回答を選択します。
実験では、QAN モデルが 2 つのデータセット (SemEval2015 と SemEval2017) で最先端のパフォーマンスを達成することが示されています。
さらに、LLM を使用して質問と正解から外部知識を生成し、LLM による回答選択タスクの知識拡張を実現すると同時に、さまざまな側面で LLM のプロンプトを最適化します。
その結果、外部知識の導入により、データセット SemEval2015 および SemEval2017 に対する LLM の正答選択率が向上することがわかりました。
一方、LLM は、最適化されたプロンプトにより、より多くの質問に対して正しい答えを選択することもできます。

要約(オリジナル)

Community Question Answering (CQA) becomes increasingly prevalent in recent years. However, there are a large number of answers, which is difficult for users to select the relevant answers. Therefore, answer selection is a very significant subtask of CQA. In this paper, we first propose the Question-Answer cross attention networks (QAN) with pre-trained models for answer selection and utilize large language model (LLM) to perform answer selection with knowledge augmentation. Specifically, we apply the BERT model as the encoder layer to do pre-training for question subjects, question bodies and answers, respectively, then the cross attention mechanism selects the most relevant answer for different questions. Experiments show that the QAN model achieves state-of-the-art performance on two datasets, SemEval2015 and SemEval2017. Moreover, we use the LLM to generate external knowledge from questions and correct answers to achieve knowledge augmentation for the answer selection task by LLM, while optimizing the prompt of LLM in different aspects. The results show that the introduction of external knowledge can improve the correct answer selection rate of LLM on datasets SemEval2015 and SemEval2017. Meanwhile, LLM can also select the correct answer on more questions by optimized prompt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google