Position: Pause Recycling LoRAs and Prioritize Mechanisms to Uncover Limits and Effectiveness

要約

マージまたはルーティング低ランクアダプター（LORAS）は、特に規制またはドメイン固有の制約によってデータアクセスが制限されている場合、大規模な言語モデルを強化するための一般的なソリューションとして浮上しています。
このポジションペーパーは、研究コミュニティは、新しいマージまたはルーティングアルゴリズムの開発から、ロラの再利用が本当に効果的である条件の理解に焦点を移すべきだと主張しています。
理論的分析と合成2ホップの推論と数学の単語問題タスクを通じて、ロラを再利用することが本物の構成一般化を可能にするか、単に浅いパターンの一致を反映するかどうかを調べます。
パラメーター平均化と動的アダプターの選択 – の2つのデータに依存しない方法を評価すると、ロラを再利用することは、特にそのような知識が前提条件中に過小評価されている場合、微妙な微調整データセット全体で知識を論理的に統合できないことが多いことがわかりました。
ロラの限られた表現性に関する理論的洞察によってサポートされている私たちの経験的結果は、目に見えないタスクのためにそれらを再利用する前提条件と制約を強調し、真にデータのないアプローチとしての実現可能性に疑問を投げかけます。
私たちは、ロラをリサイクルするための新しい方法の追求を一時停止し、実践者向けのアダプターベースのモデルの合併と実用的なシステム設計における将来の学術研究を導くための厳密なメカニズムの必要性を強調することを主張しています。

要約(オリジナル)

Merging or routing low-rank adapters (LoRAs) has emerged as a popular solution for enhancing large language models, particularly when data access is restricted by regulatory or domain-specific constraints. This position paper argues that the research community should shift its focus from developing new merging or routing algorithms to understanding the conditions under which reusing LoRAs is truly effective. Through theoretical analysis and synthetic two-hop reasoning and math word-problem tasks, we examine whether reusing LoRAs enables genuine compositional generalization or merely reflects shallow pattern matching. Evaluating two data-agnostic methods–parameter averaging and dynamic adapter selection–we found that reusing LoRAs often fails to logically integrate knowledge across disjoint fine-tuning datasets, especially when such knowledge is underrepresented during pretraining. Our empirical results, supported by theoretical insights into LoRA’s limited expressiveness, highlight the preconditions and constraints of reusing them for unseen tasks and cast doubt on its feasibility as a truly data-free approach. We advocate for pausing the pursuit of novel methods for recycling LoRAs and emphasize the need for rigorous mechanisms to guide future academic research in adapter-based model merging and practical system designs for practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google