要約
Large Language Model (LLM) のような Foundation Model (FM) の台頭により、ソフトウェア開発に革命が起きています。
印象的なプロトタイプにもかかわらず、FMware を実稼働可能な製品に変換するには、さまざまな領域にわたる複雑なエンジニアリングが必要です。
重要だが見落とされている側面はパフォーマンス エンジニアリングです。これは、FMware がスループットやレイテンシなどのパフォーマンス目標を確実に満たして、ユーザーの不満や経済的損失を回避することを目的としています。
多くの場合、パフォーマンスの考慮事項は後回しになり、導入後にコストのかかる最適化作業が必要になります。
FMware の高い計算リソース需要は、ハードウェアを効率的に使用する必要性を浮き彫りにしています。
劣化を防ぐためには、継続的なパフォーマンスエンジニアリングが不可欠です。
このペーパーでは、FMware におけるソフトウェア パフォーマンス エンジニアリング (SPE) の重要性を強調し、コグニティブ アーキテクチャ設計、通信プロトコル、チューニングと最適化、展開という 4 つの主要な課題を特定します。
これらの課題は、文献調査と社内 FMware システム開発の経験に基づいています。
ソフトウェア エンジニアリング コミュニティの問題、現在の慣行、革新的な道筋について話し合います。
要約(オリジナル)
The rise of Foundation Models (FMs) like Large Language Models (LLMs) is revolutionizing software development. Despite the impressive prototypes, transforming FMware into production-ready products demands complex engineering across various domains. A critical but overlooked aspect is performance engineering, which aims at ensuring FMware meets performance goals such as throughput and latency to avoid user dissatisfaction and financial loss. Often, performance considerations are an afterthought, leading to costly optimization efforts post-deployment. FMware’s high computational resource demands highlight the need for efficient hardware use. Continuous performance engineering is essential to prevent degradation. This paper highlights the significance of Software Performance Engineering (SPE) in FMware, identifying four key challenges: cognitive architecture design, communication protocols, tuning and optimization, and deployment. These challenges are based on literature surveys and experiences from developing an in-house FMware system. We discuss problems, current practices, and innovative paths for the software engineering community.
arxiv情報
| 著者 | Haoxiang Zhang,Shi Chang,Arthur Leung,Kishanthan Thangarajah,Boyuan Chen,Hanan Lutfiyya,Ahmed E. Hassan |
| 発行日 | 2024-11-14 16:42:19+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google