How Far Can We Extract Diverse Perspectives from Large Language Models? Criteria-Based Diversity Prompting!

要約

主観的な NLP トピックに関する多様な人間のデータを収集することはコストがかかり、困難です。
大規模言語モデル (LLM) が人間に似た機能を開発するにつれて、人間と LLM が協力して多様なデータを生成し、潜在的なスケーラブルで効率的なソリューションを提供する傾向が最近見られます。
ただし、主観的なトピックについて多様な視点を生成する LLM の能力の程度は未解明な問題のままです。
この研究では、社会規範や議論的な文章などの主観的なトピックについて、多様な視点や論理的根拠を生み出すLLMの能力を調査します。
我々はこの問題をLLMにおける多様性抽出として定式化し、多様な意見を根拠にし、生成された基準単語から視点の多様性を測定するための基準ベースのプロンプト手法を提案する。
私たちの結果は、文の埋め込みと距離メトリクスを通じて意味の多様性を測定するだけでは、視点の多様性を測定するのに十分ではないことを示しています。
LLM から多様な視点をどこまで抽出できるか (ダイバーシティ カバレッジと呼ばれます) 確認するために、モデルから反復的にさらに多くの出力を生成するよう促すステップバイステップのリコールを採用します。
私たちのプロンプト方法を他のタスク（ヘイトスピーチのラベル​​付けやストーリーの継続）に適用すると、確かに、LLM がタスクの主観性の程度に応じて多様な意見を生み出すことができることがわかります。

要約(オリジナル)

Collecting diverse human data on subjective NLP topics is costly and challenging. As Large Language Models (LLMs) have developed human-like capabilities, there is a recent trend in collaborative efforts between humans and LLMs for generating diverse data, offering potential scalable and efficient solutions. However, the extent of LLMs’ capability to generate diverse perspectives on subjective topics remains an unexplored question. In this study, we investigate LLMs’ capacity for generating diverse perspectives and rationales on subjective topics, such as social norms and argumentative texts. We formulate this problem as diversity extraction in LLMs and propose a criteria-based prompting technique to ground diverse opinions and measure perspective diversity from the generated criteria words. Our results show that measuring semantic diversity through sentence embeddings and distance metrics is not enough to measure perspective diversity. To see how far we can extract diverse perspectives from LLMs, or called diversity coverage, we employ a step-by-step recall prompting for generating more outputs from the model in an iterative manner. As we apply our prompting method to other tasks (hate speech labeling and story continuation), indeed we find that LLMs are able to generate diverse opinions according to the degree of task subjectivity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google