FarExStance: Explainable Stance Detection for Farsi

要約

ペルシア語で説明可能なスタンス検出のための新しいデータセットである FarExStance を紹介します。
このデータセットの各インスタンスには、主張、その主張に対する記事またはソーシャル メディア投稿のスタンス、およびスタンス ラベルの証拠を提供する抽出的な説明が含まれています。
新しいデータセットのゼロショット、少数ショット、およびパラメーター効率の高い微調整設定で、微調整された多言語 RoBERTa モデルのパフォーマンスをいくつかの大規模言語モデルと比較します。
スタンス検出に関しては、最も正確なモデルは、微調整された RoBERTa モデル、パラメーター効率の高い微調整を使用して微調整された LLM アヤ 23-8B、およびショット数の少ないクロード 3.5 ソネットです。
説明の品質に関して、私たちの自動評価指標は、少数ショットの GPT-4o が最も一貫した説明を生成することを示していますが、人間による評価では、最良の総合説明スコア (OES) は少数ショットの Claude-3.5-Sonnet に属することが明らかになりました。
微調整されたAya-32-8Bモデルは、参照説明と最も一致した説明を生成しました。

要約(オリジナル)

We introduce FarExStance, a new dataset for explainable stance detection in Farsi. Each instance in this dataset contains a claim, the stance of an article or social media post towards that claim, and an extractive explanation which provides evidence for the stance label. We compare the performance of a fine-tuned multilingual RoBERTa model to several large language models in zero-shot, few-shot, and parameter-efficient fine-tuned settings on our new dataset. On stance detection, the most accurate models are the fine-tuned RoBERTa model, the LLM Aya-23-8B which has been fine-tuned using parameter-efficient fine-tuning, and few-shot Claude-3.5-Sonnet. Regarding the quality of the explanations, our automatic evaluation metrics indicate that few-shot GPT-4o generates the most coherent explanations, while our human evaluation reveals that the best Overall Explanation Score (OES) belongs to few-shot Claude-3.5-Sonnet. The fine-tuned Aya-32-8B model produced explanations most closely aligned with the reference explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google