When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively

要約

このペーパーでは、特に特定の質問に答えるために追加のコンテキストが必要な場合に、大規模言語モデル (LLM) が既製の情報検索 (IR) システムの使用法を効果的に学習する方法を示します。
IR システムのパフォーマンスを考慮すると、質問応答の最適な戦略は必ずしも外部情報の取得を必要とするわけではありません。
むしろ、LLM 自体のパラメトリック メモリを活用することがよくあります。
以前の研究では、PopQA データセットでこの現象が特定されており、最も人気のある質問は LLM のパラメトリック メモリを使用して効果的に対処されますが、あまり人気のない質問には IR システムの使用が必要です。
これに続いて、既存のオープンドメインの質問応答データセットを活用して、LLM に合わせたトレーニング アプローチを提案します。
ここで、LLM は、質問に対する答えがわからない場合に特別なトークン を生成するように訓練されています。
PopQA データセット上の適応取得 LLM (Adapt-LLM) の評価では、(i) すべての質問の情報を取得する、(ii) LLM のパラメトリック メモリを常に使用する、および (
iii) 人気のしきい値を使用して、いつレトリバーを使用するかを決定します。
私たちの分析を通じて、Adapt-LLM は、質問に答える方法がわからないと判断した場合、つまり IR の必要性を示し、 トークンを生成できる一方、応答を選択した場合には顕著に高い精度レベルを達成できることを実証しました。
そのパラメトリック記憶のみに依存します。

要約(オリジナル)

In this paper, we demonstrate how Large Language Models (LLMs) can effectively learn to use an off-the-shelf information retrieval (IR) system specifically when additional context is required to answer a given question. Given the performance of IR systems, the optimal strategy for question answering does not always entail external information retrieval; rather, it often involves leveraging the parametric memory of the LLM itself. Prior research has identified this phenomenon in the PopQA dataset, wherein the most popular questions are effectively addressed using the LLM’s parametric memory, while less popular ones require IR system usage. Following this, we propose a tailored training approach for LLMs, leveraging existing open-domain question answering datasets. Here, LLMs are trained to generate a special token, , when they do not know the answer to a question. Our evaluation of the Adaptive Retrieval LLM (Adapt-LLM) on the PopQA dataset showcases improvements over the same LLM under three configurations: (i) retrieving information for all the questions, (ii) using always the parametric memory of the LLM, and (iii) using a popularity threshold to decide when to use a retriever. Through our analysis, we demonstrate that Adapt-LLM is able to generate the token when it determines that it does not know how to answer a question, indicating the need for IR, while it achieves notably high accuracy levels when it chooses to rely only on its parametric memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google