Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs Answering

要約

私たちは、クラウドベースの大規模言語モデル (LLM) を使用して、分散ユーザーから寄せられるよくある質問に対する回答の精度を高める方法を調査します。
私たちの研究は、ユーザーが同一の数学的推論ステップと問題解決手順を含む同様のクエリを行う典型的な状況に焦点を当てています。
スタンドアロンの質問での LLM のゼロショット プロンプトの精度が満足のいくものではないため、自己一貫性 (SC) および思考連鎖 (CoT) 手法を使用して分散同義質問を改善することを提案します。
具体的には、まずクラウドソーシングされたデータベースから同義の質問を取得し、フェデレーテッド質問プールを作成します。
同じまたは異なるパラメータを持つこれらのフェデレーテッド同義質問を、それぞれ SP 質問または DP 質問と呼びます。
当社では、当社のメソッドを Fed-SP-SC および Fed-DP-CoT と呼んでいます。これらのメソッドは、高度なモデル調整を必要とせずに、すべてのユーザーのクエリに対してはるかに正確な回答を生成できます。
広範な実験を通じて、私たちが提案した方法が質問の同義性と回答の一貫性を完全に調査することにより、質問の精度を大幅に向上できることを実証しました。

要約(オリジナル)

We investigate how to enhance answer precision in frequently asked questions posed by distributed users using cloud-based Large Language Models (LLMs). Our study focuses on a typical situations where users ask similar queries that involve identical mathematical reasoning steps and problem-solving procedures. Due to the unsatisfactory accuracy of LLMs’ zero-shot prompting with standalone questions, we propose to improve the distributed synonymous questions using Self-Consistency (SC) and Chain-of-Thought (CoT) techniques. Specifically, we first retrieve synonymous questions from a crowd-sourced database and create a federated question pool. We call these federated synonymous questions with the same or different parameters SP-questions or DP-questions, respectively. We refer to our methods as Fed-SP-SC and Fed-DP-CoT, which can generate significantly more accurate answers for all user queries without requiring sophisticated model-tuning. Through extensive experiments, we demonstrate that our proposed methods can significantly enhance question accuracy by fully exploring the synonymous nature of the questions and the consistency of the answers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google