Identifying and Analyzing Task-Encoding Tokens in Large Language Models

要約

インコンテキスト学習 (ICL) は、自然言語処理における少数ショット学習の効果的なソリューションとなっています。
ただし、ICL の動作メカニズムに関する私たちの理解は限られており、特にモデルが ICL のデモンストレーションからタスクの実行をどのように学習するかに関しては限られています。
たとえば、プロンプトの小さな変更からパフォーマンスに予期せぬ大きな変化が生じる可能性があるため、プロンプトの設計は主に経験に基づいた作業になります。
この論文では、タスクのパフォーマンスがその表現に依存するタスク エンコーディング トークンを特定して分析することで、この問題を調査します。
さまざまなトークン タイプの表現を除去する実験を使用したところ、テンプレート トークンとストップワード トークンがタスク エンコーディングになりやすいことがわかりました。
さらに、語彙の意味、繰り返し、テキストの書式設定がこれらのトークンの主な特徴であることを実験的に示します。
私たちの研究は、大規模言語モデル (LLM) がデモンストレーションからタスクの実行方法をどのように学習するかを明らかにし、LLM でさまざまな種類のトークンが果たすさまざまな役割について理解を深め、タスク エンコーディング トークンの不適切な利用による不安定性を回避するための洞察を提供します。

要約(オリジナル)

In-context learning (ICL) has become an effective solution for few-shot learning in natural language processing. However, our understanding of ICL’s working mechanisms is limited, specifically regarding how models learn to perform tasks from ICL demonstrations. For example, unexpectedly large changes in performance can arise from small changes in the prompt, leaving prompt design a largely empirical endeavour. In this paper, we investigate this problem by identifying and analyzing task-encoding tokens on whose representations the task performance depends. Using experiments that ablate the representations of different token types, we find that template and stopword tokens are the most prone to be task-encoding. In addition, we demonstrate experimentally that lexical meaning, repetition, and text formatting are the main distinguishing characteristics of these tokens. Our work sheds light on how large language models (LLMs) learn to perform a task from demonstrations, deepens our understanding of the varied roles different types of tokens play in LLMs, and provides insights for avoiding instability from improperly utilizing task-encoding tokens.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google