Is ‘A Helpful Assistant’ the Best Role for Large Language Models? A Systematic Evaluation of Social Roles in System Prompts

要約

プロンプトは、人間が大規模言語モデル (LLM) と対話する主な方法として機能します。
商用 AI システムは通常、システム プロンプトで LLM の役割を定義します。
たとえば、ChatGPT は、デフォルトのシステム プロンプトの一部として「あなたは役に立つアシスタントです」を使用します。
しかし、「役立つアシスタント」が LLM にとって最適な役割でしょうか?
この研究では、システム プロンプトにおける社会的役割がモデルのパフォーマンスにどのように影響するかについての体系的な評価を示します。
6種類の人間関係と8種類の職業をカバーする162の役割のリストを厳選しています。
3 つの人気のある LLM と 2,457 の質問の広範な分析を通じて、プロンプトに対人関係の役割を追加すると、さまざまな質問に対するモデルのパフォーマンスが一貫して向上することがわかりました。
さらに、性別に依存しない役割を使用し、その役割を観客として指定すると、より良いパフォーマンスが得られることがわかりましたが、どの役割が最高のパフォーマンスにつながるかを予測することは依然として困難な作業であり、頻度、類似性、および複雑さによってその効果が完全に説明されるわけではありません。
モデルパフォーマンスにおける社会的役割の評価。
私たちの結果は、AI システムのシステム プロンプトの設計に役立つ可能性があります。
コードとデータは https://github.com/Jiaxin-Pei/Prompting-with-Social-Roles で入手できます。

要約(オリジナル)

Prompting serves as the major way humans interact with Large Language Models (LLM). Commercial AI systems commonly define the role of the LLM in system prompts. For example, ChatGPT uses ‘You are a helpful assistant’ as part of the default system prompt. But is ‘a helpful assistant’ the best role for LLMs? In this study, we present a systematic evaluation of how social roles in system prompts affect model performance. We curate a list of 162 roles covering 6 types of interpersonal relationships and 8 types of occupations. Through extensive analysis of 3 popular LLMs and 2457 questions, we show that adding interpersonal roles in prompts consistently improves the models’ performance over a range of questions. Moreover, while we find that using gender-neutral roles and specifying the role as the audience leads to better performances, predicting which role leads to the best performance remains a challenging task, and that frequency, similarity, and perplexity do not fully explain the effect of social roles on model performances. Our results can help inform the design of system prompts for AI systems. Code and data are available at https://github.com/Jiaxin-Pei/Prompting-with-Social-Roles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google