Enabling On-Device LLMs Personalization with Smartphone Sensing

要約

このデモでは、デバイス上の大規模言語モデル（LLM）とスマートフォンのセンシング技術を組み合わせて、コンテキストを意識したパーソナライズされたサービスを実現する、新しいエンドツーエンドのフレームワークを紹介します。このフレームワークは、クラウドベースのLLMを利用した現在のパーソナライゼーションソリューションの重要な制限、例えば、プライバシーの問題、待ち時間とコスト、限られた個人センサーデータなどに対処します。これを実現するために、我々は、マルチモーダルセンサデータとカスタマイズされたプロンプトエンジニアリングにより、スマートフォン上にLLMを展開することを革新的に提案し、プライバシーを確保し、コンテキストを考慮したセンシングによりパーソナライゼーションパフォーマンスを向上させる。大学生を対象としたケーススタディにより、提案するフレームワークがテーラーメイドのレコメンデーションを提供できることを実証した。さらに、提案フレームワークが、プライバシー、パフォーマンス、レイテンシ、コスト、バッテリー、エネルギー消費において、オンデバイスLLMとクラウドLLMの間で最良のトレードオフを達成することを示す。将来的には、より多様なセンサーデータを統合し、大規模なユーザー調査を実施することで、パーソナライゼーションをさらに洗練させることを目指す。提案するフレームワークは、ユーザーのデバイス上で直接、安全でコンテキストを意識した効率的なインタラクションを提供することで、ヘルスケア、生産性、エンターテイメントなどの様々な領域におけるユーザー体験を大幅に改善できると考えている。

要約(オリジナル)

This demo presents a novel end-to-end framework that combines on-device large language models (LLMs) with smartphone sensing technologies to achieve context-aware and personalized services. The framework addresses critical limitations of current personalization solutions via cloud-based LLMs, such as privacy concerns, latency and cost, and limited personal sensor data. To achieve this, we innovatively proposed deploying LLMs on smartphones with multimodal sensor data and customized prompt engineering, ensuring privacy and enhancing personalization performance through context-aware sensing. A case study involving a university student demonstrated the proposed framework’s capability to provide tailored recommendations. In addition, we show that the proposed framework achieves the best trade-off in privacy, performance, latency, cost, battery and energy consumption between on-device and cloud LLMs. Future work aims to integrate more diverse sensor data and conduct large-scale user studies to further refine the personalization. We envision the proposed framework could significantly improve user experiences in various domains such as healthcare, productivity, and entertainment by providing secure, context-aware, and efficient interactions directly on users’ devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL