The Mystery of In-Context Learning: A Comprehensive Survey on Interpretation and Analysis

要約

大規模言語モデル(LLM)が実証例を通して習熟することを可能にする文脈内学習(ICL)能力を理解することは、最も重要である。この重要性は、様々なタスクにおいてこの能力をより良く活用するためだけでなく、この能力に付随して生じる可能性のある、真実性、偏り、毒性に関する懸念を含む潜在的なリスクを事前に特定し、軽減するためでもある。本稿では、文脈内学習の解釈と分析に関する徹底的なサーベイを行う。まず、文脈内学習の背景と定義について簡潔に紹介する。次に、2つの観点から進歩の概要を説明する：1）理論的な観点から、メカニズム的な解釈可能性に関する研究を強調し、ICLの背後にある数学的基礎を掘り下げる。最後に、遭遇した課題を強調し、今後の研究の可能性を示唆する。我々の研究は、インコンテクスト学習の解釈をさらに探求するための基礎を確立するものであると確信している。さらに、我々の調査で参照されたリソースを含むリポジトリを作成した。

要約(オリジナル)

Understanding in-context learning (ICL) capability that enables large language models (LLMs) to excel in proficiency through demonstration examples is of utmost importance. This importance stems not only from the better utilization of this capability across various tasks, but also from the proactive identification and mitigation of potential risks, including concerns regarding truthfulness, bias, and toxicity, that may arise alongside the capability. In this paper, we present a thorough survey on the interpretation and analysis of in-context learning. First, we provide a concise introduction to the background and definition of in-context learning. Then, we give an overview of advancements from two perspectives: 1) a theoretical perspective, emphasizing studies on mechanistic interpretability and delving into the mathematical foundations behind ICL; and 2) an empirical perspective, concerning studies that empirically analyze factors associated with ICL. We conclude by highlighting the challenges encountered and suggesting potential avenues for future research. We believe that our work establishes the basis for further exploration into the interpretation of in-context learning. Additionally, we have created a repository containing the resources referenced in our survey.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL