Inference Optimizations for Large Language Models: Effects, Challenges, and Practical Considerations

要約

大規模な言語モデルは、再トレーニングすることなく新しいタスクに適応できるため、自然言語処理において広く普及しています。
ただし、その規模と複雑さは独特の課題と機会をもたらし、研究者や実践者は新しいモデルのトレーニング、最適化、展開方法の探索を促しています。
この文献レビューでは、量子化、枝刈り、知識の蒸留、アーキテクチャの最適化など、リソース要件を削減し、大規模な言語モデルを圧縮するためのさまざまな手法に焦点を当てています。
主な目的は、各手法を詳しく調査し、その固有の課題と実際の応用例に焦点を当てることです。
議論されている手法は、最適化の状況の概要を示し、研究の軌跡をより深く理解するために最適化の状況をナビゲートするのに役立つ分類に分類されています。

要約(オリジナル)

Large language models are ubiquitous in natural language processing because they can adapt to new tasks without retraining. However, their sheer scale and complexity present unique challenges and opportunities, prompting researchers and practitioners to explore novel model training, optimization, and deployment methods. This literature review focuses on various techniques for reducing resource requirements and compressing large language models, including quantization, pruning, knowledge distillation, and architectural optimizations. The primary objective is to explore each method in-depth and highlight its unique challenges and practical applications. The discussed methods are categorized into a taxonomy that presents an overview of the optimization landscape and helps navigate it to understand the research trajectory better.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google