Large Language Models Are Self-Taught Reasoners: Enhancing LLM Applications via Tailored Problem-Solving Demonstrations

要約

人間が作成したデモンストレーションの選択されたセットを使用して大規模な言語モデルをガイドすることは、LLM アプリケーションを改善するための一般的な方法です。
ただし、人間の労力は、特に特殊な領域 (臨床診断など) ではコストがかかる可能性があり、選択したデモンストレーションと実際のテスト インスタンスの間で目標スキルに潜在的な不一致があるため、最適なパフォーマンスが保証されません。
これらを動機として、このペーパーでは、ターゲット スキルが特定のターゲット インスタンスと一致する、カスタマイズされたデモンストレーションの自動作成について検討します。
私たちは、問題解決フレームワークである SELF-TAUGHT を紹介します。これは、ターゲットの問題に「調整」され、ゼロショット方式でより良い品質 (つまり正確さ) を得るために「フィルタリング」されたデモンストレーションを容易にします。
多様な領域の多肢選択式の質問と実際の患者のアルツハイマー病 (AD) の診断の 15 のタスクにおいて、SELF-TAUGHT は強力なベースライン (例: 少数ショット CoT、計画と解決、自動) よりも優れたパフォーマンスを達成します。
-CoT)。
私たちは、既存のプロンプト手法やさまざまな LLM への汎用性、中間生成の品質などを含む、SELF-TAUGHT の包括的な分析を実行します。

要約(オリジナル)

Guiding large language models with a selected set of human-authored demonstrations is a common practice for improving LLM applications. However, human effort can be costly, especially in specialized domains (e.g., clinical diagnosis), and does not guarantee optimal performance due to the potential discrepancy of target skills between selected demonstrations and real test instances. Motivated by these, this paper explores the automatic creation of customized demonstrations, whose target skills align with the given target instance. We present SELF-TAUGHT, a problem-solving framework, which facilitates demonstrations that are ‘tailored’ to the target problem and ‘filtered’ for better quality (i.e., correctness) in a zero-shot manner. In 15 tasks of multiple-choice questions of diverse domains and the diagnosis of Alzheimer’s disease (AD) with real-world patients, SELF-TAUGHT achieves superior performance to strong baselines (e.g., Few-shot CoT, Plan-and-Solve, Auto-CoT). We conduct comprehensive analyses on SELF-TAUGHT, including its generalizability to existing prompting methods and different LLMs, the quality of its intermediate generation, and more.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google