Learning vs Retrieval: The Role of In-Context Examples in Regression with LLMs

要約

生成大規模言語モデル (LLM) は、コンテキスト内の学習者として機能します。
ただし、インコンテキスト学習 (ICL) の基礎となるメカニズムは依然として主要な研究課題であり、モデルが ICL をどのように活用するかに関する実験研究の結果は、必ずしも一貫しているわけではありません。
この研究では、コンテキスト内学習メカニズムを評価するためのフレームワークを提案します。これは、回帰タスクに焦点を当てて、内部知識の取得とコンテキスト内の例からの学習を組み合わせたものであると主張しています。
まず、LLM が現実世界のデータセットに対して回帰を実行できることを示し、その後、LLM が内部知識を取得する程度と、コンテキスト内の例から学習する程度を測定する実験を設計します。
私たちは、このプロセスはこれら 2 つの極端な範囲の間にあると主張します。
タスクに関する事前知識や、コンテキスト内の例によって提供される情報の種類と豊富さなど、さまざまな要因に応じて、これらのメカニズムがどの程度トリガーされるかを詳細に分析します。
私たちは 3 つの LLM を採用し、複数のデータセットを利用して調査結果の堅牢性を裏付けています。
私たちの結果は、コンテキスト内の例からのメタ学習を活用し、対処する問題に応じて知識の検索を促進するプロンプトを設計する方法を明らかにします。

要約(オリジナル)

Generative Large Language Models (LLMs) are capable of being in-context learners. However, the underlying mechanism of in-context learning (ICL) is still a major research question, and experimental research results about how models exploit ICL are not always consistent. In this work, we propose a framework for evaluating in-context learning mechanisms, which we claim are a combination of retrieving internal knowledge and learning from in-context examples by focusing on regression tasks. First, we show that LLMs can perform regression on real-world datasets and then design experiments to measure the extent to which the LLM retrieves its internal knowledge versus learning from in-context examples. We argue that this process lies on a spectrum between these two extremes. We provide an in-depth analysis of the degrees to which these mechanisms are triggered depending on various factors, such as prior knowledge about the tasks and the type and richness of the information provided by the in-context examples. We employ three LLMs and utilize multiple datasets to corroborate the robustness of our findings. Our results shed light on how to engineer prompts to leverage meta-learning from in-context examples and foster knowledge retrieval depending on the problem being addressed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google