Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communication

要約

大規模言語モデル(LLM)は、最近、思考連鎖(Chain-of-Thought)技術を通じて、複雑な推論タスクにおいて大きな進歩を遂げた。このような進歩にもかかわらず、LLMの推論はしばしばその本質的な理解に制約され、外部からの洞察に欠けている。この問題に対処するために、我々は問題解決中にモデル間のコミュニケーションを可能にする新しいフレームワークであるExchange-of-Thought (EoT)を提案する。ネットワーク・トポロジーから着想を得たEoTは、4つのユニークなコミュニケーション・パラダイムを統合している：記憶、報告、中継、討論である。本稿では、各パラダイムに関連するコミュニケーションのダイナミクスとボリュームを掘り下げる。誤った推論連鎖のリスクを相殺するために、これらのコミュニケーションにロバストな信頼性評価メカニズムを実装する。様々な複雑な推論タスクを対象とした実験により、EoTが確立されたベースラインを大幅に上回ることが実証され、LLMの性能向上における外部からの洞察の価値が強調された。さらに、EoTがコスト効率の良い方法でこれらの優れた結果を達成することを示し、効率的かつ協調的なAI問題解決のための有望な進歩を示す。

要約(オリジナル)

Large Language Models (LLMs) have recently made significant strides in complex reasoning tasks through the Chain-of-Thought technique. Despite this progress, their reasoning is often constrained by their intrinsic understanding, lacking external insights. To address this, we propose Exchange-of-Thought (EoT), a novel framework that enables cross-model communication during problem-solving. Drawing inspiration from network topology, EoT integrates four unique communication paradigms: Memory, Report, Relay, and Debate. This paper delves into the communication dynamics and volume associated with each paradigm. To counterbalance the risks of incorrect reasoning chains, we implement a robust confidence evaluation mechanism within these communications. Our experiments across diverse complex reasoning tasks demonstrate that EoT significantly surpasses established baselines, underscoring the value of external insights in enhancing LLM performance. Furthermore, we show that EoT achieves these superior results in a cost-effective manner, marking a promising advancement for efficient and collaborative AI problem-solving.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL