Conditional LoRA Parameter Generation

要約

生成モデルは、画像、ビデオ、テキストの領域で目覚ましい成功を収めている。これに触発され、研究者は生成モデルをニューラルネットワークのパラメータ生成に活用することを模索してきた。しかし、これらの取り組みは、パラメータサイズと高性能パラメータを生成する実用性によって制限されてきた。本論文では、COND P-DIFFを提案し、特にLoRA（Low-Rank Adaptation）重みの微調整プロセスにおいて、制御可能な高性能パラメータ生成の実現可能性を示す。具体的には、パラメータの効率的な潜在表現を抽出するためにオートエンコーダを採用する。次に、特定のタスク条件に基づいて、ランダムノイズから高性能なモデルパラメータを合成する条件付き潜在拡散モデルを訓練する。コンピュータビジョンと自然言語処理の両領域における実験結果は、COND P-DIFFが与えられたタスクに条件付けられた高性能パラメータを生成できることを一貫して示している。さらに、COND P-DIFFによって生成されたパラメータ分布は、通常の最適化手法によって得られた分布と比較して違いを示し、一定レベルの汎化能力があることを示す。我々の研究は、条件駆動型パラメータ生成のさらなる探求に道を開き、ニューラルネットワークのタスク特異的適応のための有望な方向性を提供する。

要約(オリジナル)

Generative models have achieved remarkable success in image, video, and text domains. Inspired by this, researchers have explored utilizing generative models to generate neural network parameters. However, these efforts have been limited by the parameter size and the practicality of generating high-performance parameters. In this paper, we propose COND P-DIFF, a novel approach that demonstrates the feasibility of controllable high-performance parameter generation, particularly for LoRA (Low-Rank Adaptation) weights, during the fine-tuning process. Specifically, we employ an autoencoder to extract efficient latent representations for parameters. We then train a conditional latent diffusion model to synthesize high-performing model parameters from random noise based on specific task conditions. Experimental results in both computer vision and natural language processing domains consistently demonstrate that COND P-DIFF can generate high-performance parameters conditioned on the given task. Moreover, we observe that the parameter distribution generated by COND P-DIFF exhibits differences compared to the distribution obtained through normal optimization methods, indicating a certain level of generalization capability. Our work paves the way for further exploration of condition-driven parameter generation, offering a promising direction for task-specific adaptation of neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL