The Impact of LoRA on the Emergence of Clusters in Transformers

要約

この論文では、\citet{sander2022sinkformers,geshkovski2023emergence,geshkovski2023mathematical} によって開発されたトランスフォーマーの数学的フレームワークを使用して、注意パラメーターと初期トークン値の変動がトークン クラスターの構造ダイナミクスにどのような影響を与えるかを調査します。
私たちの分析は、修正されたアテンション マトリックス ダイナミクス内のクラスターは、長期間にわたって元のクラスターからの大幅な乖離を示す可能性がある一方で、パラメーターの違いに応じて、より短い間隔では緊密な類似性を維持することを示しています。
この研究は、LoRA アルゴリズム \cite{hu2021lora,peft} への実際的な適用を通じて微調整分野に貢献し、LoRA で強化された Transformer モデルの動作についての理解を深めます。

要約(オリジナル)

In this paper, we employ the mathematical framework on Transformers developed by \citet{sander2022sinkformers,geshkovski2023emergence,geshkovski2023mathematical} to explore how variations in attention parameters and initial token values impact the structural dynamics of token clusters. Our analysis demonstrates that while the clusters within a modified attention matrix dynamics can exhibit significant divergence from the original over extended periods, they maintain close similarities over shorter intervals, depending on the parameter differences. This work contributes to the fine-tuning field through practical applications to the LoRA algorithm \cite{hu2021lora,peft}, enhancing our understanding of the behavior of LoRA-enhanced Transformer models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google