When Parts are Greater Than Sums: Individual LLM Components Can Outperform Full Models

要約

この論文では、大規模な言語モデルの出力をアテンション ヘッドと MLP (コンポーネント) の個々の寄与に分解することにより、コンテキスト内学習 (ICL) を研究します。
私たちは興味深いコンポーネントを観察します。モデルのパフォーマンスが低い場合でも、個別に分類タスクでうまく機能するパフォーマンスの良いコンポーネントです。
偶然よりはるかに悪い成績を収めたもの。
ラベルに偏ったコンポーネントは常に同じラベルを予測します。
フルモデルの精度が大きく異なる場合でも、コンポーネントの精度は、さまざまなデモンストレーション セットやプロンプト テンプレートの摂動間でよく相関していることがわかりました。
私たちの発見に基づいて、いくつかのラベル付きの例からコンポーネントのアクティベーションを線形に再スケーリングすることを学習するコンポーネントの再重み付けを提案します。
24 個のラベル付きサンプルが与えられた場合、私たちの方法は、Llama-2-7B の 8 つのタスクにわたって 24 ショットの ICL よりも平均 6.0% 精度ポイント向上しました。
全体として、このペーパーは ICL についての理解を深め、モデルの内部を調べることによって改善のための実践的な方法を提供します。

要約(オリジナル)

This paper studies in-context learning (ICL) by decomposing the output of large language models into the individual contributions of attention heads and MLPs (components). We observe curious components: good-performing ones that individually do well on a classification task, even when the model performs poorly; bad-performing ones that do much worse than chance; and label-biased components that always predict the same label. We find that component accuracies are well-correlated across different demonstration sets and perturbations of prompt templates, even when the full-model accuracy varies greatly. Based on our findings, we propose component reweighting, which learns to linearly re-scale the component activations from a few labeled examples. Given 24 labeled examples, our method improves by an average of 6.0% accuracy points over 24-shot ICL across 8 tasks on Llama-2-7B. Overall, this paper both enriches our understanding of ICL and provides a practical method for improvement by examining model internals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google