A Survey of Resource-efficient LLM and Multimodal Foundation Models

要約

大規模言語モデル (LLM)、ビジョン トランスフォーマー (ViT)、拡散モデル、LLM ベースのマルチモーダル モデルなどの大規模な基礎モデルは、トレーニングからデプロイに至る機械学習のライフサイクル全体に革命をもたらしています。
ただし、これらのモデルが提供する多用途性とパフォーマンスの大幅な進歩には、ハードウェア リソースの点で多大なコストがかかります。
スケーラブルかつ環境的に持続可能な方法でこれらの大規模モデルの成長をサポートするために、資源効率の高い戦略の開発に重点が置かれてきました。
この調査では、アルゴリズムとシステムの両方の側面を調査し、そのような研究の決定的な重要性を掘り下げています。
既存の文献から収集した包括的な分析と貴重な洞察を提供し、最先端のモデル アーキテクチャやトレーニング/サービス アルゴリズムから実用的なシステム設計と実装に至るまで、幅広いトピックを網羅しています。
この調査の目的は、大規模な基礎モデルによってもたらされる資源の課題に現在のアプローチがどのように取り組んでいるかを包括的に理解し、この分野での将来のブレークスルーを潜在的に刺激することです。

要約(オリジナル)

Large foundation models, including large language models (LLMs), vision transformers (ViTs), diffusion, and LLM-based multimodal models, are revolutionizing the entire machine learning lifecycle, from training to deployment. However, the substantial advancements in versatility and performance these models offer come at a significant cost in terms of hardware resources. To support the growth of these large models in a scalable and environmentally sustainable way, there has been a considerable focus on developing resource-efficient strategies. This survey delves into the critical importance of such research, examining both algorithmic and systemic aspects. It offers a comprehensive analysis and valuable insights gleaned from existing literature, encompassing a broad array of topics from cutting-edge model architectures and training/serving algorithms to practical system designs and implementations. The goal of this survey is to provide an overarching understanding of how current approaches are tackling the resource challenges posed by large foundation models and to potentially inspire future breakthroughs in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google