Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection

要約

思考連鎖プロンプト (CoT) は、中間理論的根拠の生成を通じて大規模言語モデル (LLM) の推論機能を強化します。
ただし、これらの機能強化は主に大規模モデルに恩恵をもたらし、小規模 LM では CoT を直接適用してもパフォーマンスが大幅に向上しません。
LLM の高度な推論能力にもかかわらず、CoT は主に、事前に訓練された内部知識に依存しています。
モデルにとって以前は知られていなかった外部知識は利用されないままになります。
この省略は、外部の背景知識が重要な役割を果たすスタンス検出などのタスクで顕著になります。
さらに、LLM の大規模なアーキテクチャでは、展開中に必然的に効率性の課題が生じます。
これらの課題に対処するために、スタンス検出に Ladder-of-Thought (LoT) を導入します。
LoT は、デュアルフェーズのカスケード最適化フレームワークに基づいて、高品質の外部知識を組み込むようにモデルを指示し、モデルが生成する中間理論的根拠を強化します。
これらの強化された理論的根拠は、その後、より正確な予測の基礎として機能します。これは、はしごが高い目標の達成を容易にするのと似ています。
LoT は効率と精度のバランスを実現し、スタンス検出のための適応性のある効率的なフレームワークとなります。
私たちの経験的評価は LoT の有効性を強調しており、ChatGPT と比較して 16% の改善、CoT を使用した ChatGPT と比較して 10% の強化を示しています。

要約(オリジナル)

Chain-of-Thought Prompting (CoT) reinforces the reasoning capabilities of Large Language Models (LLMs) through the generation of intermediate rationales. However, these enhancements predominantly benefit large-scale models, leaving small LMs without significant performance improvements when directly applying CoT. Despite the advanced reasoning capabilities of LLMs, CoT relies primarily on their pre-trained internal knowledge. The external knowledge that is previously unknown to the model remains unexploited. This omission becomes pronounced in tasks such as stance detection, where the external background knowledge plays a pivotal role. Additionally, the large-scale architecture of LLMs inevitably present efficiency challenges during deployment. To address these challenges, we introduce the Ladder-of-Thought (LoT) for stance detection. Grounded in a dual-phase Cascaded Optimization framework, LoT directs the model to incorporate high-quality external knowledge, enhancing the intermediate rationales it generates. These bolstered rationales subsequently serve as the foundation for more precise predictions – akin to how a ladder facilitates reaching elevated goals. LoT achieves a balance between efficiency and accuracy, making it an adaptable and efficient framework for stance detection. Our empirical evaluations underscore LoT’s effectiveness, marking a 16% improvement over ChatGPT and a 10% enhancement compared to ChatGPT with CoT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google