Large Language Model Performance Benchmarking on Mobile Platforms: A Thorough Evaluation

要約

大規模言語モデル(LLM)が私たちの仕事や日常生活のあらゆる場面にますます溶け込むようになるにつれ、ユーザーのプライバシーに対する懸念が高まり、これらのモデルのローカル展開に向かう傾向が強まっている。スマートフォン上でローカルに実行できる軽量なLLM（Gemini Nano、LLAMA2 7Bなど）が数多くあり、ユーザーに個人データの管理能力を提供しています。急速に台頭しているアプリケーションであるため、市販のモバイルデバイスでのパフォーマンスが気になるところです。モバイルプラットフォーム上でのLLM展開の現状を完全に理解するため、モバイルデバイス上での包括的な測定調査を実施した。トークンのスループット、待ち時間、バッテリー消費など、ユーザーエクスペリエンスに影響する指標と、リソース使用率、DVFS戦略、推論エンジンなど、開発者にとって重要な要素の両方を評価します。さらに、これらのハードウェア機能とシステムダイナミクスが、デバイス上のLLM性能にどのような影響を与えるかについて詳細な分析を行い、開発者がモバイルLLMアプリケーションのボトルネックを特定し、対処するのに役立つ可能性があります。また、主要ベンダーのモバイル・システムオンチップ（SoC）の包括的な比較を行い、LLMワークロードの処理における性能の違いを明らかにしています。この研究が、オンデバイスLLMの開発と、将来のモバイル・システム・アーキテクチャの設計の両方に役立つことを期待している。

要約(オリジナル)

As large language models (LLMs) increasingly integrate into every aspect of our work and daily lives, there are growing concerns about user privacy, which push the trend toward local deployment of these models. There are a number of lightweight LLMs (e.g., Gemini Nano, LLAMA2 7B) that can run locally on smartphones, providing users with greater control over their personal data. As a rapidly emerging application, we are concerned about their performance on commercial-off-the-shelf mobile devices. To fully understand the current landscape of LLM deployment on mobile platforms, we conduct a comprehensive measurement study on mobile devices. We evaluate both metrics that affect user experience, including token throughput, latency, and battery consumption, as well as factors critical to developers, such as resource utilization, DVFS strategies, and inference engines. In addition, we provide a detailed analysis of how these hardware capabilities and system dynamics affect on-device LLM performance, which may help developers identify and address bottlenecks for mobile LLM applications. We also provide comprehensive comparisons across the mobile system-on-chips (SoCs) from major vendors, highlighting their performance differences in handling LLM workloads. We hope that this study can provide insights for both the development of on-device LLMs and the design for future mobile system architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL