Chain-of-thought prompting for responding to in-depth dialogue questions with LLM

要約

ユーザーの質問の仕方や内容から、性格、感情、心理などの現状を知ることができます。
大規模言語モデル (LLM) に直接プロンプトを表示する代わりに、ユーザー クエリに対してよりパーソナライズされた魅力的なエクスペリエンスを提供することを目的として、ユーザーのステータスに応じて推論と計画を実行するために、このシナリオで思考連鎖プロンプトがどのように役立つかを調査します。
この目的を達成するために、まず英語と中国語の両方で 6 つの対話または質問応答データセットのベンチマークを構築し、ユーザー ステータスの 3 つの異なる側面 (\textit{を含む) (\textit{性格}、\textit{感情}、\) をカバーします。
テキスト{心理学})。
次に、中間推論処理として、LLM にユーザーのステータスに関する応答を生成するように促します。
テストクエリの代わりに中間推論の意味的類似性を使用した、新しいデモンストレーション選択戦略を提案します。
私たちのアプローチの有効性と堅牢性を評価するために、ゼロショットおよびワンショット設定で 7 つの LLM を使用して広範な実験を実施しました。
実験結果は、使用された LLM に関係なく、すべてのデータセットにわたって \textit{helpness} と \textit{acceptness} の両方の点で、私たちのアプローチが標準的なプロンプトよりも一貫して優れていることを示しています。
コードとデータセットは \url{https://github.com/ruleGreen/Dialogue\_CoT.git} にあります。

要約(オリジナル)

The way and content in which users ask questions can provide insight into their current status, including their personality, emotions, and psychology. Instead of directly prompting the large language models (LLMs), we explore how chain-of-thought prompting helps in this scenario to perform reasoning and planning according to user status, aiming to provide a more personalized and engaging experience for the user query. To this end, we first construct a benchmark of 6 dialogue or question-answering datasets in both English and Chinese, covering 3 different aspects of user status (\textit{including} \textit{personality}, \textit{emotion}, and \textit{psychology}). Then we prompt the LLMs to generate the response regarding the user status as intermediate reasoning processing. We propose a novel demonstration selection strategy using the semantic similarity of intermediate reasoning instead of test queries. To evaluate the effectiveness and robustness of our approach, we conduct extensive experiments with 7 LLMs under zero-shot and one-shot settings. The experimental results show that our approach consistently outperforms standard prompting in terms of both \textit{helpfulness} and \textit{acceptness} across all datasets, regardless of the LLMs used. The code and dataset can be found at \url{https://github.com/ruleGreen/Dialogue\_CoT.git}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google