In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models

要約

大規模な言語モデルは、指示といくつかの注釈付きの例が提供されるコンテキスト内で新しいタスクを学習できます。
ただし、コンテキスト内学習の有効性は提供されたコンテキストに依存し、下流のタスクのパフォーマンスは指示に応じて大幅に異なる可能性があります。
重要なのは、このようなコンテキストへの依存は、予期せぬ形で表面化する可能性があることです。たとえば、一見より有益な命令がパフォーマンスの低下につながる可能性があります。
このホワイトペーパーでは、In-Context Probing (ICP) と呼ぶ代替アプローチを提案します。
インコンテキスト学習と同様に、入力の表現を命令で文脈化しますが、出力予測をデコードする代わりに、文脈化された表現を調べてラベルを予測します。
さまざまな分類タスクのセットに関する一連の実験を通じて、コンテキスト内のプローブが命令の変更に対して大幅に堅牢であることを示しました。
さらに、ICP がファインチューニングと競合するか優れたパフォーマンスを発揮し、トレーニング例が 100 未満の小規模なモデル上に分類器を構築するのに特に役立つことを示します。

要約(オリジナル)

Large language models are able to learn new tasks in context, where they are provided with instructions and a few annotated examples. However, the effectiveness of in-context learning is dependent on the provided context, and the performance on a downstream task can vary considerably, depending on the instruction. Importantly, such dependency on the context can surface in unpredictable ways, e.g., a seemingly more informative instruction might lead to a worse performance. In this paper, we propose an alternative approach, which we term In-Context Probing (ICP). Similar to in-context learning, we contextualize the representation of the input with an instruction, but instead of decoding the output prediction, we probe the contextualized representation to predict the label. Through a series of experiments on a diverse set of classification tasks, we show that in-context probing is significantly more robust to changes in instructions. We further show that ICP performs competitive or superior to finetuning and can be particularly helpful to build classifiers on top of smaller models, with less than a hundred training examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google