Attention-likelihood relationship in transformers

要約

大規模な言語モデル (LLM) が文脈外の単語をどのように表しているかを分析し、与えられた文脈への依存を調査して意味を捉えます。
私たちの可能性ガイド付きテキスト摂動は、変換器ベースの言語モデルにおけるトークンの可能性と注意値の間の相関関係を明らかにします。
広範な実験により、予期しないトークンにより、特に上位レイヤーで、モデルが表現を計算するために、モデル自体からの情報にあまり注意を払わなくなることが明らかになりました。
これらの調査結果は、現実世界のシナリオで LLM の堅牢性を評価する上で重要な意味を持ちます。
https://github.com/Flegyas/AttentionLikelihood の完全に再現可能なコードベース。

要約(オリジナル)

We analyze how large language models (LLMs) represent out-of-context words, investigating their reliance on the given context to capture their semantics. Our likelihood-guided text perturbations reveal a correlation between token likelihood and attention values in transformer-based language models. Extensive experiments reveal that unexpected tokens cause the model to attend less to the information coming from themselves to compute their representations, particularly at higher layers. These findings have valuable implications for assessing the robustness of LLMs in real-world scenarios. Fully reproducible codebase at https://github.com/Flegyas/AttentionLikelihood.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google