Panza: Design and Analysis of a Fully-Local Personalized Text Writing Assistant

要約

強力なオープンソースの大規模言語モデル (LLM) の利用可能性により、ユーザー固有のデータや要求に適応する自動パーソナル アシスタントなどのエキサイティングなユースケースが開かれます。
このようなアシスタントに対する 2 つの重要な要件は、パーソナル化 (アシスタントがユーザー自身の書き方を反映する必要があるという意味で) とプライバシーです。ユーザーは個人データを常にローカルの自分のコンピューティング デバイスに保存することを好む場合があります。
このアプリケーション ペーパーでは、電子メール生成の特定の使用例 (Panza と呼ぶ) 向けに、このような自動アシスタントの新しい設計と評価を示します。
具体的には、Panza は、市販のハードウェア上でローカルにトレーニングして展開することができ、ユーザーの執筆スタイルに合わせてカスタマイズされます。
Panza のパーソナライゼーション機能は、リバース命令手法の一種を使用した微調整と検索拡張生成 (RAG) の組み合わせに基づいています。
この組み合わせにより、非常に限られたリソースで実行しながら、限られたデータを使用してユーザーの書き方をよりよく反映するように LLM を微調整できることを示します。
無料の Google Colab インスタンス上で。
私たちの主要な方法論的貢献は、この個人化された執筆タスクの評価指標と、システムコンポーネントのさまざまな選択がどのように異なるかについての最初の詳細な研究であると考えられるものです。
RAG やさまざまな微調整アプローチの使用は、システムのパフォーマンスに影響を与えます。
私たちは完全な Panza コードと、研究用にライセンスされた新しい「David」パーソナライズされた電子メール データセットをリリースします。どちらも https://github.com/IST-DASLab/PanzaMail で入手できます。

要約(オリジナル)

The availability of powerful open-source large language models (LLMs) opens exciting use cases, such as automated personal assistants that adapt to the user’s unique data and demands. Two key requirements for such assistants are personalization – in the sense that the assistant should reflect the user’s own writing style – and privacy – users may prefer to always store their personal data locally, on their own computing device. In this application paper, we present a new design and evaluation for such an automated assistant, for the specific use case of email generation, which we call Panza. Specifically, Panza can be trained and deployed locally on commodity hardware, and is personalized to the user’s writing style. Panza’s personalization features are based on a combination of fine-tuning using a variant of the Reverse Instructions technique together with Retrieval-Augmented Generation (RAG). We demonstrate that this combination allows us to fine-tune an LLM to better reflect a user’s writing style using limited data, while executing on extremely limited resources, e.g. on a free Google Colab instance. Our key methodological contribution is what we believe to be the first detailed study of evaluation metrics for this personalized writing task, and of how different choices of system components – e.g. the use of RAG and of different fine-tuning approaches – impact the system’s performance. We are releasing the full Panza code as well as a new ‘David’ personalized email dataset licensed for research use, both available on https://github.com/IST-DASLab/PanzaMail.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google