Panza: Design and Analysis of a Fully-Local Personalized Text Writing Assistant

要約

強力なオープンソースの大型言語モデル（LLMS）の可用性は、ユーザーの一意のデータと要求に適応する自動化されたパーソナルアシスタントなど、エキサイティングなユースケースを開きます。
このようなアシスタントの2つの重要な要件は、アシスタントがユーザー自身の執筆スタイルを反映する必要があるという意味でパーソナライズとプライバシーです – ユーザーは、常に自分のコンピューティングデバイスに個人データをローカルに保存することを好む場合があります。
このアプリケーションペーパーでは、Panzaと呼ばれる電子メール生成の特定のユースケースのために、このような自動化されたアシスタントの新しい設計と評価を紹介します。
具体的には、Panzaはコモディティハードウェア上でローカルで訓練および展開でき、ユーザーのライティングスタイルにパーソナライズされます。
Panzaのパーソナライゼーション機能は、逆命令技術のバリアントと検索の高等世代（RAG）を使用した微調整の組み合わせに基づいています。
この組み合わせにより、LLMを微調整して、限られたデータを使用してユーザーのライティングスタイルをよりよく反映できることを実証します。
無料のGoogle Colabインスタンス。
私たちの重要な方法論的貢献は、このパーソナライズされたライティングタスクの評価メトリックの最初の詳細な研究であると信じているものであり、システムコンポーネントのさまざまな選択肢 – 例えば
RAGとさまざまな微調整アプローチの使用 – システムのパフォーマンスに影響を与えます。
また、信頼できるPANZAモデルを作成するのに一般的に十分であることを示すアブレーション研究も実行します。
完全なPanzaコードと、研究用にライセンスされた新しい「David」パーソナライズされた電子メールデータセットをリリースしています。

要約(オリジナル)

The availability of powerful open-source large language models (LLMs) opens exciting use cases, such as automated personal assistants that adapt to the user’s unique data and demands. Two key requirements for such assistants are personalization – in the sense that the assistant should reflect the user’s own writing style – and privacy – users may prefer to always store their personal data locally, on their own computing device. In this application paper, we present a new design and evaluation for such an automated assistant, for the specific use case of email generation, which we call Panza. Specifically, Panza can be trained and deployed locally on commodity hardware, and is personalized to the user’s writing style. Panza’s personalization features are based on a combination of fine-tuning using a variant of the Reverse Instructions technique together with Retrieval-Augmented Generation (RAG). We demonstrate that this combination allows us to fine-tune an LLM to better reflect a user’s writing style using limited data, while executing on extremely limited resources, e.g. on a free Google Colab instance. Our key methodological contribution is what we believe to be the first detailed study of evaluation metrics for this personalized writing task, and of how different choices of system components – e.g. the use of RAG and of different fine-tuning approaches – impact the system’s performance. We also perform an ablation study showing that less than 100 emails are generally sufficient to produce a credible Panza model. We are releasing the full Panza code as well as a new ‘David’ personalized email dataset licensed for research use, both available on https://github.com/IST-DASLab/PanzaMail.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google