Flextron: Many-in-One Flexible Large Language Model

要約

最新の LLM のトレーニングは非常にリソースを大量に消費し、限られたコンピューティング リソースとメモリ リソースを特徴とするさまざまな展開シナリオに合わせてトレーニングを繰り返してカスタマイズすることは現実的ではありません。
このペーパーでは、柔軟なモデル展開をサポートするネットワーク アーキテクチャおよびトレーニング後のモデル最適化フレームワークである Flextron を紹介します。
Flextron アーキテクチャは、ネストされた弾性構造を利用して、追加の微調整を必要とせずに、推論中に特定のユーザー定義の遅延と精度の目標に迅速に適応します。
また、入力適応性があり、サブネットワークを通じてトークンを自動的にルーティングして、パフォーマンスと効率を向上させることができます。
既存のトレーニング済み LLM を Flextron モデルに系統的に変換するための、サンプル効率の高いトレーニング方法と関連するルーティング アルゴリズムを紹介します。
GPT-3 および LLama-2 ファミリの LLM で Flextron を評価し、複数のエンドツーエンドでトレーニングされたバリアントやその他の最先端のエラスティック ネットワークよりも優れたパフォーマンスを実証します。すべて、1 回の事前トレーニング実行で、
元の事前トレーニングと比較して、トークンはわずか 7.63% です。

要約(オリジナル)

Training modern LLMs is extremely resource intensive, and customizing them for various deployment scenarios characterized by limited compute and memory resources through repeated training is impractical. In this paper, we introduce Flextron, a network architecture and post-training model optimization framework supporting flexible model deployment. The Flextron architecture utilizes a nested elastic structure to rapidly adapt to specific user-defined latency and accuracy targets during inference with no additional fine-tuning required. It is also input-adaptive, and can automatically route tokens through its sub-networks for improved performance and efficiency. We present a sample-efficient training method and associated routing algorithms for systematically transforming an existing trained LLM into a Flextron model. We evaluate Flextron on the GPT-3 and LLama-2 family of LLMs, and demonstrate superior performance over multiple end-to-end trained variants and other state-of-the-art elastic networks, all with a single pretraining run that consumes a mere 7.63% tokens compared to original pretraining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google