Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks

要約

大規模言語モデル(LLM)の大規模化に伴い、インコンテキスト学習(ICL)が登場した。しかし、標準的なICL設定では、LLMは時々、クエリに関連する情報を無視し、誤った予測につながる可能性がある。この限界に対処するために、我々は、知識集約的なタスクにおいて重要なオープンドメインの質問応答におけるICLの力を探求するために、Hint-enhanced In-Context Learning (HICL)と呼ばれる新しいパラダイムを提案する。HICLは、LLMの推論能力を活用して、クエリに関連する知識をデモから抽出し、その知識を連結して、より明示的な方法でLLMに促す。さらに、この知識の出所を追跡して特定の例を特定し、Hint-related Example Retriever (HER)を導入して、拡張されたデモンストレーションのために有益な例を選択する。HERを導入したHICLを3つのオープンドメインQAベンチマークで評価した結果、標準設定と比較して、gpt-3.5-turboでEMスコア2.89、F1スコア2.52、LLaMA-2-Chat-7BでEMスコア7.62、F1スコア7.27の平均性能向上を確認した。

要約(オリジナル)

In-context learning (ICL) ability has emerged with the increasing scale of large language models (LLMs), enabling them to learn input-label mappings from demonstrations and perform well on downstream tasks. However, under the standard ICL setting, LLMs may sometimes neglect query-related information in demonstrations, leading to incorrect predictions. To address this limitation, we propose a new paradigm called Hint-enhanced In-Context Learning (HICL) to explore the power of ICL in open-domain question answering, an important form in knowledge-intensive tasks. HICL leverages LLMs’ reasoning ability to extract query-related knowledge from demonstrations, then concatenates the knowledge to prompt LLMs in a more explicit way. Furthermore, we track the source of this knowledge to identify specific examples, and introduce a Hint-related Example Retriever (HER) to select informative examples for enhanced demonstrations. We evaluate HICL with HER on 3 open-domain QA benchmarks, and observe average performance gains of 2.89 EM score and 2.52 F1 score on gpt-3.5-turbo, 7.62 EM score and 7.27 F1 score on LLaMA-2-Chat-7B compared with standard setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL