Few-shot Reranking for Multi-hop QA via Language Model Prompting

要約

我々は、オープンドメインの質問を用いたマルチホップQAのための数ショットリランキングを研究する。レトリーバの訓練に必要な多数のラベル付き質問-文書ペアの必要性を軽減するために、マルチホップ経路リランキングのための大規模な言語モデルのプロンプトに依存するPromptRankを提案する。PromptRankは、まず文書パスの候補を含む指示ベースのプロンプトを構築し、次に言語モデルに従って、パスのプロンプトを与えられた質問の条件付き尤度に基づいて、与えられた質問とパスとの間の関連性スコアを計算する。PromptRankは、数千の例で訓練された最先端の手法と比較して、わずか128の訓練例でHotpotQAにおいて強力な検索性能をもたらす — PromptRankによる73.6recall@10とPathRetrieverによる77.8、マルチホップ密集検索による77.5。コードはhttps://github.com/mukhal/PromptRank。

要約(オリジナル)

We study few-shot reranking for multi-hop QA with open-domain questions. To alleviate the need for a large number of labeled question-document pairs for retriever training, we propose PromptRank, which relies on large language models prompting for multi-hop path reranking. PromptRank first constructs an instruction-based prompt that includes a candidate document path and then computes the relevance score between a given question and the path based on the conditional likelihood of the question given the path prompt according to a language model. PromptRank yields strong retrieval performance on HotpotQA with only 128 training examples compared to state-of-the-art methods trained on thousands of examples — 73.6 recall@10 by PromptRank vs. 77.8 by PathRetriever and 77.5 by multi-hop dense retrieval. Code available at https://github.com/mukhal/PromptRank

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL