EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models

要約

この作業では、早期終了大規模言語モデル (LLM) をトレーニング/チューニングするための軽量で経済的なソリューションである EE-Tuning を紹介します。
フルパラメータ事前トレーニングの一般的なアプローチとは対照的に、EE-Tuning は、事前トレーニングされた (場合によっては微調整された) 標準 LLM を、パラメータ効率の高い方法で調整された追加の早期終了層で拡張します。
計算リソースとトレーニング データが少なくなります。
当社の EE-Tuning の実装は、広範なパフォーマンスの最適化によって優れたトレーニング効率を実現するだけでなく、3D 並列処理との完全な互換性による拡張性も実現します。
体系的な実験の結果により、EE-Tuning の有効性が検証され、限られたトレーニング予算で効果的な早期終了 LLM 推論が達成できることが確認されました。
コミュニティが早期終了 LLM にアクセスできるようにすることを期待して、EE-Tuning の実装のソース コードを https://github.com/pan-x-c/EE-LLM でリリースします。

要約(オリジナル)

This work introduces EE-Tuning, a lightweight and economical solution to training/tuning early-exit large language models (LLMs). In contrast to the common approach of full-parameter pre-training, EE-Tuning augments any pre-trained (and possibly fine-tuned) standard LLM with additional early-exit layers that are tuned in a parameter-efficient manner, which requires significantly less computational resources and training data. Our implementation of EE-Tuning achieves outstanding training efficiency via extensive performance optimizations, as well as scalability due to its full compatibility with 3D parallelism. Results of systematic experiments validate the efficacy of EE-Tuning, confirming that effective early-exit LLM inference can be achieved with a limited training budget. In hope of making early-exit LLMs accessible to the community, we release the source code of our implementation of EE-Tuning at https://github.com/pan-x-c/EE-LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google