Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection

要約

姿勢検出は、特定のターゲットに対する文書内で表現された姿勢を識別することを目的としています。
思考連鎖 (CoT) プロンプトなどの技術により、このタスクが進歩し、中間理論的根拠の導出を通じてモデルの推論能力が強化されました。
ただし、CoT は推論中に主にモデルの事前トレーニングされた内部知識に依存するため、モデルにとってこれまで知られていなかった貴重な外部情報が無視されます。
この省略は、特に教師なし推論プロセス内で、モデルの全体的なパフォーマンスに影響を与える可能性があります。
さらに、CoT は大規模言語モデル (LLM) を強化しますが、小規模な LM は運用上は効率的ではありますが、微妙な推論を提供する際に課題に直面しています。
これらの特定されたギャップに対応して、スタンス検出タスクに思考のはしご (LoT) を導入します。
2 段階のプログレッシブ最適化フレームワークを通じて構築された LoT は、小規模 LM に高品質の外部知識を吸収させ、生成される中間理論的根拠を洗練するように指示します。
これらの強化された理論的根拠は、その後、より正確な予測の基礎として機能します。これは、はしごが高い目標の達成を容易にするのと似ています。
LoT は効率とパフォーマンスのバランスを実現します。
私たちの経験的評価は LoT の有効性を強調しており、スタンス検出タスクにおいて GPT-3.5 と比較して 16% の改善、CoT を備えた GPT-3.5 と比較して 10% の向上を示しています。

要約(オリジナル)

Stance detection aims to identify the attitude expressed in a document towards a given target. Techniques such as Chain-of-Thought (CoT) prompting have advanced this task, enhancing a model’s reasoning capabilities through the derivation of intermediate rationales. However, CoT relies primarily on a model’s pre-trained internal knowledge during reasoning, thereby neglecting the valuable external information that is previously unknown to the model. This omission, especially within the unsupervised reasoning process, can affect the model’s overall performance. Moreover, while CoT enhances Large Language Models (LLMs), smaller LMs, though efficient operationally, face challenges in delivering nuanced reasoning. In response to these identified gaps, we introduce the Ladder-of-Thought (LoT) for the stance detection task. Constructed through a dual-phase Progressive Optimization Framework, LoT directs the small LMs to assimilate high-quality external knowledge, refining the intermediate rationales produced. These bolstered rationales subsequently serve as the foundation for more precise predictions – akin to how a ladder facilitates reaching elevated goals. LoT achieves a balance between efficiency and performance. Our empirical evaluations underscore LoT’s efficacy, marking a 16% improvement over GPT-3.5 and a 10% enhancement compared to GPT-3.5 with CoT on stance detection task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google