A Benchmark for Cross-Domain Argumentative Stance Classification on Social Media

要約

議論的スタンスの分類は、特定のトピックに関する著者の視点を特定する上で重要な役割を果たします。
ただし、さまざまな領域にわたって多様な議論文のペアを生成するのは困難です。
既存のベンチマークは、多くの場合、単一のドメインからのものであるか、限られたトピックに焦点を当てています。
さらに、正確なラベルを付けるための手動の注釈は時間と労力がかかります。
これらの課題に対処するために、私たちは、プラットフォーム ルール、すぐに利用できる専門家が厳選したコンテンツ、大規模な言語モデルを活用して人間による注釈の必要性を回避することを提案します。
私たちのアプローチは、21 のドメインにわたる 3 つの情報源からの 4,498 件の話題の主張と 30,961 件の議論で構成されるマルチドメイン ベンチマークを生成します。
完全に監視された、ゼロショット、および少数ショットの設定でデータセットのベンチマークを行い、さまざまな方法論の長所と限界を明らかにします。
この研究のデータセットとコードは、匿名性を確保するために非表示で公開します。

要約(オリジナル)

Argumentative stance classification plays a key role in identifying authors’ viewpoints on specific topics. However, generating diverse pairs of argumentative sentences across various domains is challenging. Existing benchmarks often come from a single domain or focus on a limited set of topics. Additionally, manual annotation for accurate labeling is time-consuming and labor-intensive. To address these challenges, we propose leveraging platform rules, readily available expert-curated content, and large language models to bypass the need for human annotation. Our approach produces a multidomain benchmark comprising 4,498 topical claims and 30,961 arguments from three sources, spanning 21 domains. We benchmark the dataset in fully supervised, zero-shot, and few-shot settings, shedding light on the strengths and limitations of different methodologies. We release the dataset and code in this study at hidden for anonymity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google