Boosting In-Context Learning with Factual Knowledge

要約

大規模言語モデル (LLM) 上のインコンテキスト学習 (ICL) は、いくつかのトレーニング例に基づいて条件付けすることで、これまで見えなかったタスクを解決し、パラメーターの更新の必要性を排除し、競争力のあるパフォーマンスを達成することを目的としています。
この論文では、事実知識が 3 つの中心的な側面、つまり LLM で学習された固有の知識、選択されたコンテキスト内の例から得られる事実知識、出力用の LLM の知識バイアスの ICL のパフォーマンスに不可欠であることを実証します。
世代。
数回の学習シナリオで LLM の力を解き放つために、ICL のパフォーマンスをさらに向上させる新しい Knowledgeable In-Context Tuning (KICT) フレームワークを導入します。1) 継続的な自己教師付き事前トレーニング中に事実の知識を LLM に注入します。
2) 知識との関連性が高い例を慎重に選択し、3) 事前知識に基づいて予測結果を調整します。
複数のテキスト分類および質問応答タスクにわたって、自己回帰 LLM (GPT スタイル モデルなど) について提案されたアプローチを評価します。
実験結果は、KICT が強力なベースラインを大幅に上回り、テキスト分類タスクと質問応答タスクでそれぞれ 13% と 7% 以上精度が向上することを示しています。

要約(オリジナル)

In-Context Learning (ICL) over Large language models (LLMs) aims at solving previously unseen tasks by conditioning on a few training examples, eliminating the need for parameter updates and achieving competitive performance. In this paper, we demonstrate that factual knowledge is imperative for the performance of ICL in three core facets, i.e., the inherent knowledge learned in LLMs, the factual knowledge derived from the selected in-context examples, and the knowledge biases in LLMs for output generation. To unleash the power of LLMs in few-shot learning scenarios, we introduce a novel Knowledgeable In-Context Tuning (KICT) framework to further improve the performance of ICL: 1) injecting factual knowledge to LLMs during continual self-supervised pre-training, 2) judiciously selecting the examples with high knowledge relevance, and 3) calibrating the prediction results based on prior knowledge. We evaluate the proposed approaches on auto-regressive LLMs (e.g., GPT-style models) over multiple text classification and question answering tasks. Experimental results demonstrate that KICT substantially outperforms strong baselines, and improves by more than 13% and 7% of accuracy on text classification and question answering tasks, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google