PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers

要約

強力で大規模な言語モデルにより、作文とコミュニケーションの品質と効率を大幅に向上させるライティングアシスタントの開発が容易になりました。
しかし、効果的な支援の障壁となっているのは、作成者のコミュニケーション スタイルや専門知識に合わせて LLM 出力が個別化されていないことです。
この論文では、世代調整された検索機能でパーソナライズされた検索強化 LLM ライティング アシスタントである PEARL を提案することで、この課題に対処します。
当社のレトリバーは、ユーザーのリクエストに応じて LLM 世代を最適にパーソナライズできるように、ユーザーが作成した過去の文書を迅速に拡張するために選択するように訓練されています。
私たちは、レトリバーを訓練するための 2 つの重要な新機能を提案します。 1) パーソナライゼーションから恩恵を受ける可能性が高いユーザー要求とその利点を提供する文書を特定する訓練データ選択方法。
2) パーソナライズされた生成のためのドキュメントの利点をレトリバーが厳密に追跡することを保証するスケール調整 KL 発散目標。
私たちは、パーソナライズされた職場のソーシャル メディア投稿や Reddit コメントを生成する際の PEARL の有効性を実証します。
最後に、世代によって調整されたレトリーバーがパフォーマンス予測器としても機能し、LLM チェーンを通じて低品質の世代をさらに改善する可能性を示します。

要約(オリジナル)

Powerful large language models have facilitated the development of writing assistants that promise to significantly improve the quality and efficiency of composition and communication. However, a barrier to effective assistance is the lack of personalization in LLM outputs to the author’s communication style and specialized knowledge. In this paper, we address this challenge by proposing PEARL, a retrieval-augmented LLM writing assistant personalized with a generation-calibrated retriever. Our retriever is trained to select historic user-authored documents for prompt augmentation, such that they are likely to best personalize LLM generations for a user request. We propose two key novelties for training our retriever: 1) A training data selection method that identifies user requests likely to benefit from personalization and documents that provide that benefit; and 2) A scale-calibrating KL-divergence objective that ensures that our retriever closely tracks the benefit of a document for personalized generation. We demonstrate the effectiveness of PEARL in generating personalized workplace social media posts and Reddit comments. Finally, we showcase the potential of a generation-calibrated retriever to double as a performance predictor and further improve low-quality generations via LLM chaining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google