Resource Allocation for Stable LLM Training in Mobile Edge Computing

要約

モバイル デバイスが高度なアプリケーションの中心となることが増えているため、エッジ コンピューティングは、特に大規模言語モデル (LLM) の展開において、デバイス固有の計算制限に対する実行可能なソリューションを提供します。
ただし、エッジ コンピューティングの進歩にも関わらず、これらのモデルに関連する計算需要とデータ プライバシーの問題により、LLM の効率的なトレーニングと展開には大きな課題が残されています。
このペーパーでは、モバイル ユーザーとエッジ サーバーを統合してリソース割り当てを最適化し、パフォーマンスと効率の両方を向上させる共同トレーニング フレームワークについて検討します。
当社のアプローチは、パラメータ効率の良い微調整 (PEFT) 手法を活用しており、モバイル ユーザーが LLM の最初のレイヤーを調整できる一方で、エッジ サーバーがより要求の厳しい後半のレイヤーを処理できるようになります。
具体的には、トレーニング中の総エネルギー消費と遅延を最小限に抑えるための多目的最適化問題を定式化します。
また、目的関数に安定性の強化を組み込むことで、モデルのパフォーマンスの不安定性という一般的な問題にも対処します。
新しい分数計画法を通じて、定式化された問題の定常点を達成します。
シミュレーションにより、私たちの方法がエネルギー消費と遅延を削減し、さまざまなモバイル設定全体で LLM の信頼性が向上することが実証されています。

要約(オリジナル)

As mobile devices increasingly become focal points for advanced applications, edge computing presents a viable solution to their inherent computational limitations, particularly in deploying large language models (LLMs). However, despite the advancements in edge computing, significant challenges remain in efficient training and deploying LLMs due to the computational demands and data privacy concerns associated with these models. This paper explores a collaborative training framework that integrates mobile users with edge servers to optimize resource allocation, thereby enhancing both performance and efficiency. Our approach leverages parameter-efficient fine-tuning (PEFT) methods, allowing mobile users to adjust the initial layers of the LLM while edge servers handle the more demanding latter layers. Specifically, we formulate a multi-objective optimization problem to minimize the total energy consumption and delay during training. We also address the common issue of instability in model performance by incorporating stability enhancements into our objective function. Through novel fractional programming technique, we achieve a stationary point for the formulated problem. Simulations demonstrate that our method reduces the energy consumption as well as the latency, and increases the reliability of LLMs across various mobile settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google