A Few Hypocrites: Few-Shot Learning and Subtype Definitions for Detecting Hypocrisy Accusations in Online Climate Change Debates

要約

気候危機はオンラインの議論において顕著な問題であり、偽善的な非難はこれらの議論における中心的な修辞要素となっている。
ただし、大規模なテキスト分析の場合、偽善的な告発の検出は十分に研究されていないツールであり、ほとんどの場合、虚偽の議論の検出のより小さなサブタスクとして定義されます。
この論文では、偽善告発の検出を NLP における独立したタスクとして定義し、偽善告発の関連するさまざまなサブタイプを特定します。
私たちの気候偽善告発コーパス (CHAC) は、Reddit の気候に関する議論の 420 件のコメントで構成されており、個人的偽善と政治的偽善という 2 つの異なるタイプの偽善告発に専門家が注釈を付けています。
このデータセット内の偽善告発を検出するために、6 ショットと 3 つの命令調整された大規模言語モデル (LLM) を使用した少数ショットのコンテキスト内学習を評価します。
結果は、特に GPT-4o モデルと Llama-3 モデルが偽善告発の検出に有望であることを示しています (F1 は 0.68 に達しましたが、以前の研究では F1 が 0.44 でした)。
ただし、偽善の告発などの複雑な意味論的概念ではコンテキストが重要であり、モデルは個人の道徳的偽善と比較して政治的偽善の告発を特定するのに特に苦労していることがわかります。
私たちの研究は、偽善の発見と気候変動の言説における新たな洞察に貢献し、オンラインの気候変動議論における偽善の告発の大規模分析への足がかりとなります。

要約(オリジナル)

The climate crisis is a salient issue in online discussions, and hypocrisy accusations are a central rhetorical element in these debates. However, for large-scale text analysis, hypocrisy accusation detection is an understudied tool, most often defined as a smaller subtask of fallacious argument detection. In this paper, we define hypocrisy accusation detection as an independent task in NLP, and identify different relevant subtypes of hypocrisy accusations. Our Climate Hypocrisy Accusation Corpus (CHAC) consists of 420 Reddit climate debate comments, expert-annotated into two different types of hypocrisy accusations: personal versus political hypocrisy. We evaluate few-shot in-context learning with 6 shots and 3 instruction-tuned Large Language Models (LLMs) for detecting hypocrisy accusations in this dataset. Results indicate that the GPT-4o and Llama-3 models in particular show promise in detecting hypocrisy accusations (F1 reaching 0.68, while previous work shows F1 of 0.44). However, context matters for a complex semantic concept such as hypocrisy accusations, and we find models struggle especially at identifying political hypocrisy accusations compared to personal moral hypocrisy. Our study contributes new insights in hypocrisy detection and climate change discourse, and is a stepping stone for large-scale analysis of hypocrisy accusation in online climate debates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google