Perspective Transition of Large Language Models for Solving Subjective Tasks

要約

大規模言語モデル (LLM) は自然言語処理の分野に革命をもたらし、さまざまなタスクで目覚ましい進歩を可能にしました。
常識的な推論や算術的な質問応答などの客観的なタスクとは異なり、主観的なタスクに対する LLM のパフォーマンスは依然として制限されており、特定の問題に対する視点が、コンテキストをより適切に解釈して適切な応答を与えるために重要な役割を果たします。
たとえば、特定のシナリオでは、専門家の役割の観点から回答すると、LLM のパフォーマンスが向上し、関連するドメインの知識が引き出される可能性があります。
対照的に、一部のシナリオでは、LLM は第三者の立場から回答するとより正確な回答を提供する可能性があり、問題をより包括的に理解できるようになり、固有の偏見を軽減できる可能性があります。
この論文では、パースペクティブトランジション（RPT）による推論を提案します。これは、LLMが、対応する主観的な問題を解決するための最良の方法を直接、役割、および三人称視点の中から動的に選択できるようにする、コンテキスト内学習に基づく方法です。
GPT-4、GPT-3.5、Llama-3、Qwen-2 などのクローズドソースとオープンソースの LLM の両方を使用して、合計 12 の主観的タスクに関する広範な実験を通じて、私たちの方法は、チェーンなどの広く使用されている単一の固定視点ベースの方法よりも優れています。
思考のプロンプトと専門家のプロンプトは、LLM が視点を適応させて、さまざまな問題に対して微妙な文脈に応じた適切な応答を提供できる複雑な方法を強調しています。

要約(オリジナル)

Large language models (LLMs) have revolutionized the field of natural language processing, enabling remarkable progress in various tasks. Different from objective tasks such as commonsense reasoning and arithmetic question-answering, the performance of LLMs on subjective tasks is still limited, where the perspective on the specific problem plays crucial roles for better interpreting the context and giving proper response. For example, in certain scenarios, LLMs may perform better when answering from an expert role perspective, potentially eliciting their relevant domain knowledge. In contrast, in some scenarios, LLMs may provide more accurate responses when answering from a third-person standpoint, enabling a more comprehensive understanding of the problem and potentially mitigating inherent biases. In this paper, we propose Reasoning through Perspective Transition (RPT), a method based on in-context learning that enables LLMs to dynamically select among direct, role, and third-person perspectives for the best way to solve corresponding subjective problem. Through extensive experiments on totally 12 subjective tasks by using both closed-source and open-source LLMs including GPT-4, GPT-3.5, Llama-3, and Qwen-2, our method outperforms widely used single fixed perspective based methods such as chain-of-thought prompting and expert prompting, highlights the intricate ways that LLMs can adapt their perspectives to provide nuanced and contextually appropriate responses for different problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google