PLMM: Personal Large Models on Mobile Devices

要約

この論文では、Federated Learning からインスピレーションを得て、従来の大規模言語モデルから抽出された、学歴や趣味などのローカル ユーザーの個人情報により適応した個人大規模モデルを提案します。
私たちは大規模な言語モデルを個人レベル、専門家レベル、伝統的レベルの 3 つのレベルに分類します。
個人レベルのモデルは、ユーザーの個人情報に適応します。
ユーザーの入力を暗号化し、プライバシーを保護します。
エキスパート レベルのモデルは、金融、IT、アートなどの特定の知識を融合することに重点を置いています。
従来のモデルは、普遍的な知識の発見とエキスパート モデルのアップグレードに重点を置いています。
このような分類では、個人モデルはユーザーと直接対話します。
システム全体として、個人モデルにはユーザーの（暗号化された）個人情報が含まれています。
さらに、そのようなモデルはパーソナル コンピューターやモバイル デバイス上で実行できるほど小さくなければなりません。
最後に、ユーザー エクスペリエンスを向上させ、高品質の結果を生み出すためにリアルタイムで応答する必要もあります。
提案された個人の大規模モデルは、言語や視覚タスクなどの幅広いアプリケーションに適用できます。

要約(オリジナル)

Inspired by Federated Learning, in this paper, we propose personal large models that are distilled from traditional large language models but more adaptive to local users’ personal information such as education background and hobbies. We classify the large language models into three levels: the personal level, expert level and traditional level. The personal level models are adaptive to users’ personal information. They encrypt the users’ input and protect their privacy. The expert level models focus on merging specific knowledge such as finance, IT and art. The traditional models focus on the universal knowledge discovery and upgrading the expert models. In such classifications, the personal models directly interact with the user. For the whole system, the personal models have users’ (encrypted) personal information. Moreover, such models must be small enough to be performed on personal computers or mobile devices. Finally, they also have to response in real-time for better user experience and produce high quality results. The proposed personal large models can be applied in a wide range of applications such as language and vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google