Is Sarcasm Detection A Step-by-Step Reasoning Process in Large Language Models?

要約

一連の中間推論ステップを詳しく説明すると、大規模言語モデル (LLM) の複雑な問題を解決する能力が大幅に向上します。これは、そのようなステップが LLM に逐次的な思考を呼び起こすためです。
しかし、人間の皮肉の理解は、多くの場合、直感的かつ全体的な認知プロセスであると考えられており、さまざまな言語的、文脈的、感情的な手がかりが統合され、話者の真の意図の包括的な理解を形成します。
ステップ推論プロセス。
この議論を検証するために、SarcasmCue と呼ばれる新しいプロンプト フレームワークを導入します。これには、$viz.$ 矛盾連鎖 (CoC)、キューのグラフ (GoC)、キューのバギング (BoC)、およびキューのテンソル (ToC) という 4 つのプロンプト戦略が含まれています。
）、逐次的および非逐次的なプロンプト方法を考慮することで、LLM が人間の皮肉を検出できるようにします。
4 つのベンチマーク データセットの包括的な経験的比較を通じて、提案された 4 つのプロンプト方法が、標準的な IO プロンプト、CoT および ToT をかなりのマージンで上回っており、非シーケンシャル プロンプトは一般にシーケンシャル プロンプトよりも優れていることを示します。

要約(オリジナル)

Elaborating a series of intermediate reasoning steps significantly improves the ability of large language models (LLMs) to solve complex problems, as such steps would evoke LLMs to think sequentially. However, human sarcasm understanding is often considered an intuitive and holistic cognitive process, in which various linguistic, contextual, and emotional cues are integrated to form a comprehensive understanding of the speaker’s true intention, which is argued not be limited to a step-by-step reasoning process. To verify this argument, we introduce a new prompting framework called SarcasmCue, which contains four prompting strategies, $viz.$ chain of contradiction (CoC), graph of cues (GoC), bagging of cues (BoC) and tensor of cues (ToC), which elicits LLMs to detect human sarcasm by considering sequential and non-sequential prompting methods. Through a comprehensive empirical comparison on four benchmarking datasets, we show that the proposed four prompting methods outperforms standard IO prompting, CoT and ToT with a considerable margin, and non-sequential prompting generally outperforms sequential prompting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google