CDW-CoT: Clustered Distance-Weighted Chain-of-Thoughts Reasoning

要約

大規模言語モデル (LLM) は最近、思考連鎖 (CoT) プロンプトを通じて複雑な推論タスクで目覚ましい結果を達成しました。
ただし、既存の CoT メソッドのほとんどは、データセット全体を処理するために、手動で設計されたか自動生成されたかにかかわらず、同じプロンプトの使用に依存しています。
この画一的なアプローチでは、単一のデータセット内の多様性から生じる特定のニーズを満たせない可能性があります。
この問題を解決するために、クラスタリングとプロンプト最適化技術を統合することで、各データ インスタンスの特性に合わせたプロンプトを動的に構築するクラスター化距離加重思考連鎖 (CDW-CoT) 手法を提案します。
私たちの方法では、クラスタリング アルゴリズムを使用してデータセットを個別のグループに分類し、そこからデータセット内の固有の多様性を反映するプロンプトの候補プールが選択されます。
CDW-CoT はクラスターごとに、クラスター固有の特性に合わせた最適なプロンプト確率分布をトレーニングします。
最後に、クラスタ中心への近さに基づいて、テスト インスタンスごとに固有のプロンプト確率分布を動的に構築し、そこから推論のためにプロンプ​​トが選択されます。
CDW-CoT は、常識的推論、記号的推論、数学的推論タスクを含む 6 つのデータセットにわたって、従来の CoT 手法よりも一貫して優れたパフォーマンスを発揮します。
具体的には、手動 CoT と比較した場合、CDW-CoT は LLaMA2 (13B) で 25.34%、LLaMA3 (8B) で 15.72% の平均精度向上を達成します。

要約(オリジナル)

Large Language Models (LLMs) have recently achieved impressive results in complex reasoning tasks through Chain of Thought (CoT) prompting. However, most existing CoT methods rely on using the same prompts, whether manually designed or automatically generated, to handle the entire dataset. This one-size-fits-all approach may fail to meet the specific needs arising from the diversities within a single dataset. To solve this problem, we propose the Clustered Distance-Weighted Chain of Thought (CDW-CoT) method, which dynamically constructs prompts tailored to the characteristics of each data instance by integrating clustering and prompt optimization techniques. Our method employs clustering algorithms to categorize the dataset into distinct groups, from which a candidate pool of prompts is selected to reflect the inherent diversity within the dataset. For each cluster, CDW-CoT trains the optimal prompt probability distribution tailored to their specific characteristics. Finally, it dynamically constructs a unique prompt probability distribution for each test instance, based on its proximity to cluster centers, from which prompts are selected for reasoning. CDW-CoT consistently outperforms traditional CoT methods across six datasets, including commonsense, symbolic, and mathematical reasoning tasks. Specifically, when compared to manual CoT, CDW-CoT achieves an average accuracy improvement of 25.34% on LLaMA2 (13B) and 15.72% on LLaMA3 (8B).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google