Knowledge Corpus Error in Question Answering

要約

オープンドメインの質問応答 (QA) における最近の研究では、QA パイプラインの従来の検索ステップに代わって、大規模言語モデル (LLM) からコンテキスト パッセージを生成することが検討されています。
ただし、生成されたパッセージが検索されたパッセージよりも効果的である理由はよくわかっていません。
この研究では、QA の従来の定式化を再検討し、知識コーパスエラーの概念を導入します。
このエラーは、検索に使用されるナレッジ コーパスが文字列空間全体のサブセットにすぎず、コーパスの外部に存在するより役立つ文章が除外される可能性がある場合に発生します。
LLM は、より大きな空間に通路を生成することでこの欠点を軽減することができます。
私たちは、知識コーパスのエラーを経験的に観察するために、LLM を使用して人間が注釈を付けたゴールド コンテキストを言い換える実験を思いつきました。
3 つの QA ベンチマークにわたる結果から、言い換えされた文章を使用した場合のパフォーマンスの向上 (10% ～ 13%) が明らかになり、ナレッジ コーパス エラーが存在することを示しています。
私たちのコードは https://github.com/xfactlab/emnlp2023-knowledge-corpus-error で入手できます。

要約(オリジナル)

Recent works in open-domain question answering (QA) have explored generating context passages from large language models (LLMs), replacing the traditional retrieval step in the QA pipeline. However, it is not well understood why generated passages can be more effective than retrieved ones. This study revisits the conventional formulation of QA and introduces the concept of knowledge corpus error. This error arises when the knowledge corpus used for retrieval is only a subset of the entire string space, potentially excluding more helpful passages that exist outside the corpus. LLMs may mitigate this shortcoming by generating passages in a larger space. We come up with an experiment of paraphrasing human-annotated gold context using LLMs to observe knowledge corpus error empirically. Our results across three QA benchmarks reveal an increased performance (10% – 13%) when using paraphrased passage, indicating a signal for the existence of knowledge corpus error. Our code is available at https://github.com/xfactlab/emnlp2023-knowledge-corpus-error

arxiv情報

提供元, 利用サービス

arxiv.jp, Google