Less is More: Towards Green Code Large Language Models via Unified Structural Pruning

要約

生成コーディング タスクにおける大規模言語モデル (LLM) の広範な適用は、高い計算要求とエネルギー消費のために懸念を引き起こしています。
低次元の分類ロジットを扱う分類モデル用に設計された以前の構造枝刈り手法とは異なり、生成コード LLM は高次元のトークン ロジット シーケンスを生成するため、従来の枝刈りの目的は本質的に制限されています。
さらに、既存の単一コンポーネントの枝刈りアプローチは、生成コード LLM に適用される場合、有効性をさらに制限します。
これに応えて、ボキャブラリー、レイヤー、およびフィードフォワード ネットワーク (FFN) 枝刈りを組み合わせた革新的な統合構造枝刈り手法である Flab-Pruner を提案します。
このアプローチでは、パフォーマンスを維持しながらモデルのパラメーターを効果的に削減します。
さらに、プルーニングされたモデルのパフォーマンス回復効率を高めるために、タスクをコーディングするためのカスタマイズされたコード命令データ戦略を導入します。
複数の生成コーディング タスクにわたる 3 つの最先端の Code LLM に関する広範な評価を通じて、その結果は、Flab-Pruner がパラメータの 22% を枝刈りした後も元のパフォーマンスの 97% を維持し、その後、同じかそれ以上のパフォーマンスを達成することを示しています。
トレーニング後。
プルーニングされたモデルは、堅牢性を維持しながら、ストレージ、GPU 使用率、計算効率、環境への影響が大幅に向上しています。
私たちの研究は、グリーン ソフトウェア エンジニアリングのための持続可能なソリューションを提供し、現実世界の生成コーディング インテリジェンス アプリケーションにおける LLM の効率的な展開を促進します。

要約(オリジナル)

The extensive application of Large Language Models (LLMs) in generative coding tasks has raised concerns due to their high computational demands and energy consumption. Unlike previous structural pruning methods designed for classification models that deal with lowdimensional classification logits, generative Code LLMs produce high-dimensional token logit sequences, making traditional pruning objectives inherently limited. Moreover, existing single component pruning approaches further constrain the effectiveness when applied to generative Code LLMs. In response, we propose Flab-Pruner, an innovative unified structural pruning method that combines vocabulary, layer, and Feed-Forward Network (FFN) pruning. This approach effectively reduces model parameters while maintaining performance. Additionally, we introduce a customized code instruction data strategy for coding tasks to enhance the performance recovery efficiency of the pruned model. Through extensive evaluations on three state-of-the-art Code LLMs across multiple generative coding tasks, the results demonstrate that Flab-Pruner retains 97% of the original performance after pruning 22% of the parameters and achieves the same or even better performance after post-training. The pruned models exhibit significant improvements in storage, GPU usage, computational efficiency, and environmental impact, while maintaining well robustness. Our research provides a sustainable solution for green software engineering and promotes the efficient deployment of LLMs in real-world generative coding intelligence applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google