Understanding LLMs: A Comprehensive Overview from Training to Inference

要約

ChatGPTの導入により、下流タスクに対応するための大規模言語モデル（LLM）の利用が大幅に増加している。その中で、コスト効率の高いトレーニングやデプロイメントに注目が集まっています。LLMの低コストトレーニングとデプロイは、今後の開発トレンドの代表である。本稿では、この新たなトレンドに沿った大規模言語モデルの学習技術と推論展開技術の進化をレビューする。トレーニングに関する議論には、データの前処理、トレーニングアーキテクチャ、事前トレーニングタスク、並列トレーニング、モデルの微調整に関連する内容など、様々な側面が含まれる。推論の面では、モデル圧縮、並列計算、メモリスケジューリング、構造最適化などのトピックを取り上げている。また、LLMの利用法について探求し、今後の発展についての洞察を提供する。

要約(オリジナル)

The introduction of ChatGPT has led to a significant increase in the utilization of Large Language Models (LLMs) for addressing downstream tasks. There’s an increasing focus on cost-efficient training and deployment within this context. Low-cost training and deployment of LLMs represent the future development trend. This paper reviews the evolution of large language model training techniques and inference deployment technologies aligned with this emerging trend. The discussion on training includes various aspects, including data preprocessing, training architecture, pre-training tasks, parallel training, and relevant content related to model fine-tuning. On the inference side, the paper covers topics such as model compression, parallel computation, memory scheduling, and structural optimization. It also explores LLMs’ utilization and provides insights into their future development.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL