Mixture-of-Subspaces in Low-Rank Adaptation

要約

本論文では、計算効率が良く、実装が容易で、大規模な言語、マルチモーダル、拡散モデルに容易に適用可能な、部分空間に着想を得た低ランク適応（LoRA）法を紹介する。最初に、LoRAの重みを等価的に2つの部分空間に分解し、単純に混合することで性能が向上することを発見する。このような現象を研究するために、きめの細かい部分空間レンズを通して再検討し、このような修正は部分空間を融合するために固定ミキサーを採用することと等価であることを示す。より柔軟にするために、ミキサーと元のLoRAの重みを共同で学習し、この手法をMixture-of-Subspaces LoRA (MoSLoRA)と呼ぶ。MoSLoRAは、常識的推論、視覚的指示の調整、被験者主導のテキストから画像への生成など、様々なモダリティのタスクにおいて一貫してLoRAを上回り、その有効性と頑健性を実証している。コードはhttps://github.com/wutaiqiang/MoSLoRA。

要約(オリジナル)

In this paper, we introduce a subspace-inspired Low-Rank Adaptation (LoRA) method, which is computationally efficient, easy to implement, and readily applicable to large language, multimodal, and diffusion models. Initially, we equivalently decompose the weights of LoRA into two subspaces, and find that simply mixing them can enhance performance. To study such a phenomenon, we revisit it through a fine-grained subspace lens, showing that such modification is equivalent to employing a fixed mixer to fuse the subspaces. To be more flexible, we jointly learn the mixer with the original LoRA weights, and term the method Mixture-of-Subspaces LoRA (MoSLoRA). MoSLoRA consistently outperforms LoRA on tasks in different modalities, including commonsense reasoning, visual instruction tuning, and subject-driven text-to-image generation, demonstrating its effectiveness and robustness. Codes are available at https://github.com/wutaiqiang/MoSLoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL