Reassessing the Role of Chain-of-Thought in Sentiment Analysis: Insights and Limitations

要約

言語と思考の関係は依然として未解決の哲学的問題です。
既存の見解は大きく 2 つの学派に分類できます。1 つは独立性を主張するもので、もう 1 つは言語が思考を制約すると主張するものです。
大規模な言語モデルの文脈において、この議論は重大な問題を提起します: 言語モデルによる意味論的意味の把握は思考プロセスに依存するのでしょうか?
この問題を調査するために、推論技術が意味の理解を促進できるかどうかを調査します。
具体的には、思考を推論として概念化し、推論手法として思考連鎖プロンプトを採用し、それが感情分析タスクに及ぼす影響を調査します。
実験では、思考の連鎖が感情分析タスクに与える影響は最小限であることが示されています。
標準プロンプトと思考連鎖プロンプトはどちらも、生成されたコンテンツの感情ではなく側面の用語に焦点を当てています。
さらに、反事実実験により、モデルによる感情タスクの処理は主にデモンストレーションからの情報に依存していることが明らかになりました。
実験結果は最初の観点を裏付けています。

要約(オリジナル)

The relationship between language and thought remains an unresolved philosophical issue. Existing viewpoints can be broadly categorized into two schools: one asserting their independence, and another arguing that language constrains thought. In the context of large language models, this debate raises a crucial question: Does a language model’s grasp of semantic meaning depend on thought processes? To explore this issue, we investigate whether reasoning techniques can facilitate semantic understanding. Specifically, we conceptualize thought as reasoning, employ chain-of-thought prompting as a reasoning technique, and examine its impact on sentiment analysis tasks. The experiments show that chain-of-thought has a minimal impact on sentiment analysis tasks. Both the standard and chain-of-thought prompts focus on aspect terms rather than sentiment in the generated content. Furthermore, counterfactual experiments reveal that the model’s handling of sentiment tasks primarily depends on information from demonstrations. The experimental results support the first viewpoint.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google