Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs

要約

人間が書いた記事では、太字や斜体などのテキスト スタイルの微妙な点を利用して、読者の注意を誘導することがよくあります。
これらのテキストの強調は、読者が伝えられた情報を理解するために不可欠です。
大規模言語モデル (LLM) を操作するときも、ユーザー指定の情報 (指示など) に細心の注意を払うようにモデルを操作するという同様の必要性があります。
ただし、既存のメソッドはプレーン テキストを処理するように制約されており、そのようなメカニズムはサポートしていません。
これは、LLM がユーザー指定の強調マークが付いたテキストを読むことを可能にする方法である PASTA — Post-hoc Attendant STeering Approach を導入する動機となっています。
この目的を達成するために、PASTA はアテンションヘッドの小さなサブセットを特定し、それらに正確なアテンションの再重み付けを適用して、モデルの注意をユーザーが指定した部分に向けます。
プロンプトと同様に、PASTA は推論時に適用され、モデル パラメーターを変更する必要はありません。
実験では、PASTA がユーザーの指示に従うか、ユーザー入力からの新しい知識を統合する LLM の能力を大幅に強化し、さまざまなタスクのパフォーマンスの大幅な向上につながることが実証されています (例: LLAMA-7B の平均精度は 22% 向上)。
私たちのコードは https://github.com/QingruZhang/PASTA で公開されています。

要約(オリジナル)

In human-written articles, we often leverage the subtleties of text style, such as bold and italics, to guide the attention of readers. These textual emphases are vital for the readers to grasp the conveyed information. When interacting with large language models (LLMs), we have a similar need — steering the model to pay closer attention to user-specified information, e.g., an instruction. Existing methods, however, are constrained to process plain text and do not support such a mechanism. This motivates us to introduce PASTA — Post-hoc Attention STeering Approach, a method that allows LLMs to read text with user-specified emphasis marks. To this end, PASTA identifies a small subset of attention heads and applies precise attention reweighting on them, directing the model attention to user-specified parts. Like prompting, PASTA is applied at inference time and does not require changing any model parameters. Experiments demonstrate that PASTA can substantially enhance an LLM’s ability to follow user instructions or integrate new knowledge from user inputs, leading to a significant performance improvement on a variety of tasks, e.g., an average accuracy improvement of 22% for LLAMA-7B. Our code is publicly available at https://github.com/QingruZhang/PASTA .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google