On-Device LLMs for SMEs: Challenges and Opportunities

要約

このペーパーでは、ハードウェアとソフトウェアの両方の観点に焦点を当て、中小企業 (SME) のコンテキスト内で大規模言語モデル (LLM) をデバイス上に展開するためのインフラストラクチャ要件を体系的にレビューします。
ハードウェアの観点から、GPU や TPU などのプロセッシング ユニットの利用、効率的なメモリとストレージ ソリューション、効果的な導入戦略について説明し、中小企業環境に特有の限られた計算リソースの課題に対処します。
ソフトウェアの観点から、フレームワークの互換性、オペレーティング システムの最適化、リソースに制約のある環境に合わせた特殊なライブラリの使用について調査します。
このレビューは、まずデバイス上に LLM を導入する際に中小企業が直面する特有の課題を特定し、次にハードウェアの革新とソフトウェアの適応の両方がこれらの障害を克服するために提供する機会を探ることを目的として構成されています。
このような構造化されたレビューは実践的な洞察を提供し、LLM を統合する際の中小企業の技術的回復力を強化することでコミュニティに大きく貢献します。

要約(オリジナル)

This paper presents a systematic review of the infrastructure requirements for deploying Large Language Models (LLMs) on-device within the context of small and medium-sized enterprises (SMEs), focusing on both hardware and software perspectives. From the hardware viewpoint, we discuss the utilization of processing units like GPUs and TPUs, efficient memory and storage solutions, and strategies for effective deployment, addressing the challenges of limited computational resources typical in SME settings. From the software perspective, we explore framework compatibility, operating system optimization, and the use of specialized libraries tailored for resource-constrained environments. The review is structured to first identify the unique challenges faced by SMEs in deploying LLMs on-device, followed by an exploration of the opportunities that both hardware innovations and software adaptations offer to overcome these obstacles. Such a structured review provides practical insights, contributing significantly to the community by enhancing the technological resilience of SMEs in integrating LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google