Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks

要約

大規模言語モデル (LLM) の規模が拡大するにつれて、インコンテキスト学習 (ICL) 機能が登場し、デモンストレーションから入力ラベルのマッピングを学習し、下流のタスクで適切に実行できるようになりました。
ただし、標準の ICL 設定では、LLM がデモンストレーションでクエリ関連の情報を無視することがあり、不正確な予測につながる可能性があります。
この制限に対処するために、知識集約型タスクの重要な形式であるオープンドメインの質問応答における ICL の力を探るため、ヒント強化インコンテキスト学習 (HICL) と呼ばれる新しいパラダイムを提案します。
HICL は、LLM の推論能力を活用してデモンストレーションからクエリ関連の知識を抽出し、その知識を連結して、より明示的な方法で LLM に指示を出します。
さらに、この知識のソースを追跡して特定の例を特定し、強化されたデモンストレーション用に有益な例を選択するためのヒント関連例取得 (HER) を導入します。
3 つのオープンドメイン QA ベンチマークで HER を使用して HICL を評価し、以前と比較して、gpt-3.5-turbo では 2.89 EM スコアと 2.52 F1 スコア、LLaMA-2-Chat-7B では 7.62 EM スコアと 7.27 F1 スコアの平均パフォーマンス向上を観察しました。
標準設定。

要約(オリジナル)

In-context learning (ICL) ability has emerged with the increasing scale of large language models (LLMs), enabling them to learn input-label mappings from demonstrations and perform well on downstream tasks. However, under the standard ICL setting, LLMs may sometimes neglect query-related information in demonstrations, leading to incorrect predictions. To address this limitation, we propose a new paradigm called Hint-enhanced In-Context Learning (HICL) to explore the power of ICL in open-domain question answering, an important form in knowledge-intensive tasks. HICL leverages LLMs’ reasoning ability to extract query-related knowledge from demonstrations, then concatenates the knowledge to prompt LLMs in a more explicit way. Furthermore, we track the source of this knowledge to identify specific examples, and introduce a Hint-related Example Retriever (HER) to select informative examples for enhanced demonstrations. We evaluate HICL with HER on 3 open-domain QA benchmarks, and observe average performance gains of 2.89 EM score and 2.52 F1 score on gpt-3.5-turbo, 7.62 EM score and 7.27 F1 score on LLaMA-2-Chat-7B compared with standard setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google