When ‘A Helpful Assistant’ Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models

要約

プロンプトは、人間が大規模言語モデル (LLM) と対話する主要な方法として機能します。
商用 AI システムは通常、システム プロンプトで LLM の役割を定義します。
たとえば、ChatGPT は、デフォルトのシステム プロンプトの一部として「あなたは役に立つアシスタントです」を使用します。
システム プロンプトにペルソナを追加する現在の慣行にもかかわらず、さまざまなペルソナが客観的なタスクにおけるモデルのパフォーマンスにどのような影響を与えるかは依然として不明です。
この研究では、システム プロンプトにおけるペルソナの体系的な評価を紹介します。
私たちは、6 種類の対人関係と 8 つの専門領域をカバーする 162 の役割のリストを厳選しています。
LLM の 4 つの一般的なファミリーと 2,410 の事実に基づく質問の広範な分析を通じて、システム プロンプトにペルソナを追加しても、ペルソナを追加しないコントロール設定と比較して、さまざまな質問にわたってモデルのパフォーマンスが向上しないことを実証しました。
それにもかかわらず、さらなる分析により、ペルソナの性別、タイプ、ドメインがすべて、結果として得られる予測精度に影響を与える可能性があることが示唆されています。
さらに、ペルソナ検索戦略のリストを実験したところ、質問ごとに最適なペルソナの結果を集約すると予測の精度が大幅に向上する一方で、最適なペルソナを自動的に特定するのは難しく、予測のパフォーマンスがランダムな選択と同等であることが多いことがわかりました。
全体として、私たちの調査結果は、ペルソナを追加すると特定の設定ではパフォーマンスの向上につながる可能性があるものの、各ペルソナの効果はほぼランダムである可能性があることを示唆しています。
コードとデータは https://github.com/Jiaxin-Pei/Prompting-with-Social-Roles で入手できます。

要約(オリジナル)

Prompting serves as the major way humans interact with Large Language Models (LLM). Commercial AI systems commonly define the role of the LLM in system prompts. For example, ChatGPT uses ‘You are a helpful assistant’ as part of its default system prompt. Despite current practices of adding personas to system prompts, it remains unclear how different personas affect a model’s performance on objective tasks. In this study, we present a systematic evaluation of personas in system prompts. We curate a list of 162 roles covering 6 types of interpersonal relationships and 8 domains of expertise. Through extensive analysis of 4 popular families of LLMs and 2,410 factual questions, we demonstrate that adding personas in system prompts does not improve model performance across a range of questions compared to the control setting where no persona is added. Nevertheless, further analysis suggests that the gender, type, and domain of the persona can all influence the resulting prediction accuracies. We further experimented with a list of persona search strategies and found that, while aggregating results from the best persona for each question significantly improves prediction accuracy, automatically identifying the best persona is challenging, with predictions often performing no better than random selection. Overall, our findings suggest that while adding a persona may lead to performance gains in certain settings, the effect of each persona can be largely random. Code and data are available at https://github.com/Jiaxin-Pei/Prompting-with-Social-Roles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google