Closed-form merging of parameter-efficient modules for Federated Continual Learning

要約

モデルのマージはディープラーニングにおける重要な技術として浮上しており、パフォーマンスとスケーラビリティを維持しながら複数のモデルを統合システムに統合することができます。
この点において、低ランク適応技術 (LoRA など) の構成特性が有益であることが証明されています。単純な平均化 LoRA モジュールにより、すべての個別モジュールの機能をほぼ統合した単一のモデルが得られるためです。
LoRA に基づいて、マージされたモデルが学習されたすべてのモジュールの応答と一致することを強制することで、さらに一歩進んでいます。
この目的を閉形式で解くと、A と B を未知の変数とする不定系が得られ、無限に多くの閉形式の解が存在することが示されます。
この課題に対処するために、一度に 1 つの LoRA マトリックスをトレーニングする交互の最適化戦略である LoRM を導入します。
これにより、未知の変数を個別に解決できるため、一意の解決策を見つけることができます。
私たちは提案した方法論を Federated Class-Incremental Learning (FCIL) に適用し、クライアント間およびタスク間の両方でモデル応答の整合性を確保します。
私たちの手法は、さまざまな FCIL シナリオにわたって最先端のパフォーマンスを実証します。

要約(オリジナル)

Model merging has emerged as a crucial technique in Deep Learning, enabling the integration of multiple models into a unified system while preserving performance and scalability. In this respect, the compositional properties of low-rank adaptation techniques (e.g., LoRA) have proven beneficial, as simple averaging LoRA modules yields a single model that mostly integrates the capabilities of all individual modules. Building on LoRA, we take a step further by imposing that the merged model matches the responses of all learned modules. Solving this objective in closed form yields an indeterminate system with A and B as unknown variables, indicating the existence of infinitely many closed-form solutions. To address this challenge, we introduce LoRM, an alternating optimization strategy that trains one LoRA matrix at a time. This allows solving for each unknown variable individually, thus finding a unique solution. We apply our proposed methodology to Federated Class-Incremental Learning (FCIL), ensuring alignment of model responses both between clients and across tasks. Our method demonstrates state-of-the-art performance across a range of FCIL scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google