Generalizable Chain-of-Thought Prompting in Mixed-task Scenarios with Large Language Models

要約

大規模言語モデル (LLM) は、答えを導き出す理論的根拠として機能する中間推論チェーンを生成する思考連鎖 (CoT) プロンプトを利用することで、驚くべき推論能力を明らかにしました。
しかし、現在の CoT 手法は、単に「段階的に考えてみましょう」などの一般的なプロンプトを採用するか、または好ましいパフォーマンスを達成するために事前に定義されたタスク固有のデモンストレーションに大きく依存するため、パフォーマンスと一般化の間に避けられないギャップが生じます。
このギャップを埋めるために、入力質問の種類が不明な混合タスク シナリオにおける一般化可能な CoT プロンプト メカニズムである GeM-CoT を提案します。
GeM-CoT は、最初に質問の種類を分類し、その後、自動パターンで対応するデータ プールからデモンストレーションをサンプリングまたは構築します。
この技術設計により、GeM-CoT は、10 の公開推論タスクと 23 の BBH タスクで優れた一般化機能と驚くべきパフォーマンスを同時に実現します。

要約(オリジナル)

Large language models (LLMs) have unveiled remarkable reasoning capabilities by exploiting chain-of-thought (CoT) prompting, which generates intermediate reasoning chains to serve as the rationale for deriving the answer. However, current CoT methods either simply employ general prompts such as Let’s think step by step, or heavily rely on pre-defined task-specific demonstrations to attain preferable performances, thereby engendering an inescapable gap between performance and generalization. To bridge this gap, we propose GeM-CoT, a Generalizable CoT prompting mechanism in Mixed-task scenarios where the type of input questions is unknown. GeM-CoT first categorizes the question type and subsequently samples or constructs demonstrations from the corresponding data pool in an automatic pattern. With this technical design, GeM-CoT simultaneously enjoys superior generalization capabilities and remarkable performances on 10 public reasoning tasks and 23 BBH tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google