LaMP: When Large Language Models Meet Personalization

要約

タイトル：LaMP：大規模言語モデルが個人化に遭遇したとき
要約：
– 本論文では、自然言語理解と生成の現在の状態における個人化の重要性を強調し、個人化された出力を生成するための言語モデルをトレーニングおよび評価するための新しいベンチマークであるLaMPベンチマークを紹介しています。
– LaMPは、多様な言語タスクと各ユーザープロファイルの複数のエントリを備えた包括的な評価フレームワークを提供します。これには、3つの分類タスクと4つのテキスト生成タスクを含む7つの個人化タスクがあります。
– 我々はまた、ユーザープロファイルから個人化されたアイテムを取り出して、大規模言語モデルのための個人化されたプロンプトを構築するリトリーバー増幅アプローチを提案しています。
– 当社の基本ラインのゼロショットおよびファインチューンド・モデルの結果は、プロファイル情報を考慮しない対応モデルよりもプロファイル補強を利用する言語モデルが優れた結果を示しています。

要約(オリジナル)

This paper highlights the importance of personalization in the current state of natural language understanding and generation and introduces the LaMP benchmark — a novel benchmark for training and evaluating language models for producing personalized outputs. LaMP offers a comprehensive evaluation framework with diverse language tasks and multiple entries for each user profile. It consists of seven personalized tasks, spanning three classification and four text generation tasks. We also propose a retrieval augmentation approach that retrieves personalized items from user profiles to construct personalized prompts for large language models. Our baseline zero-shot and fine-tuned model results indicate that LMs utilizing profile augmentation outperform their counterparts that do not factor in profile information.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI