Exploring Hint Generation Approaches in Open-Domain Question Answering

要約

自動質問応答 (QA) システムは、コンテキスト情報に依存して正確な回答を提供します。
一般に、コンテキストは、検索ベースまたは生成ベースの方法を通じて準備されます。
前者では、Wikipedia などのコーパスから関連文書を取得する必要がありますが、後者では、大規模言語モデル (LLM) などの生成モデルを使用してコンテキストを生成します。
このホワイトペーパーでは、自動ヒント生成 (HG) 技術を採用した、HINTQA と呼ばれる新しいコンテキスト準備アプローチを紹介します。
従来の方法とは異なり、HINTQA は、関連するコンテキストを生成するのではなく、LLM に質問に対する潜在的な回答に関するヒントを生成するように促します。
TriviaQA、NaturalQuestions、Web question を含む 3 つの QA データセットにわたってアプローチを評価し、ヒントの数と順序がパフォーマンスにどのような影響を与えるかを調べます。
私たちの調査結果は、HINTQA が検索ベースのアプローチと生成ベースのアプローチの両方を上回っていることを示しています。
ヒントは、取得および生成されたコンテキストよりも回答の精度を向上させることを実証します。

要約(オリジナル)

Automatic Question Answering (QA) systems rely on contextual information to provide accurate answers. Commonly, contexts are prepared through either retrieval-based or generation-based methods. The former involves retrieving relevant documents from a corpus like Wikipedia, whereas the latter uses generative models such as Large Language Models (LLMs) to generate the context. In this paper, we introduce a novel context preparation approach called HINTQA, which employs Automatic Hint Generation (HG) techniques. Unlike traditional methods, HINTQA prompts LLMs to produce hints about potential answers for the question rather than generating relevant context. We evaluate our approach across three QA datasets including TriviaQA, NaturalQuestions, and Web Questions, examining how the number and order of hints impact performance. Our findings show that the HINTQA surpasses both retrieval-based and generation-based approaches. We demonstrate that hints enhance the accuracy of answers more than retrieved and generated contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google