Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs Answering

要約

【タイトル】Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs Answering
【要約】
– クラウドベースのLarge Language Models（LLMs）を使用した分散ユーザーによる頻繁に質問される質問の回答精度を向上させる方法を探求
– 研究は、同じ数学的推論ステップと問題解決手順を含む類似したクエリをユーザーが頻繁に問い合わせる典型的な状況に焦点を当てている
– スタンドアロンの質問のゼロショットプロンプティングの精度が不十分であるため、Self-Consistency（SC）およびChain-of-Thought（CoT）テクニックを使用して、分散した類語質問を改善することを提案
– 具体的には、クラウドソーシングされたデータベースから類義語の質問を取得し、連邦化された質問プールを作成し、同じまたは異なるパラメータを持つ連邦化された類義語質問をSP-質問またはDP-質問と呼ぶ
– 我々の方法をFed-SP-SCとFed-DP-CoTと呼び、高度なモデルチューニングを必要とせず、すべてのユーザーのクエリに対して著しく正確な回答を生成できると主張
– 大規模な実験を通じて、類似した質問の本質と回答の一貫性を完全に探索することで、提案された方法は質問の精度を著しく向上させることが示された。

要約(オリジナル)

We investigate how to enhance answer precision in frequently asked questions posed by distributed users using cloud-based Large Language Models (LLMs). Our study focuses on a typical situations where users ask similar queries that involve identical mathematical reasoning steps and problem-solving procedures. Due to the unsatisfactory accuracy of LLMs’ zero-shot prompting with standalone questions, we propose to improve the distributed synonymous questions using Self-Consistency (SC) and Chain-of-Thought (CoT) techniques. Specifically, we first retrieve synonymous questions from a crowd-sourced database and create a federated question pool. We call these federated synonymous questions with the same or different parameters SP-questions or DP-questions, respectively. We refer to our methods as Fed-SP-SC and Fed-DP-CoT, which can generate significantly more accurate answers for all user queries without requiring sophisticated model-tuning. Through extensive experiments, we demonstrate that our proposed methods can significantly enhance question accuracy by fully exploring the synonymous nature of the questions and the consistency of the answers.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI