Topic-Guided Sampling For Data-Efficient Multi-Domain Stance Detection

要約

スタンス検出は、関心対象に対して著者が表明した態度を識別することに関係します。
このタスクは、ソーシャル メディアの意見の特定から法的請求の立場の検出まで、さまざまな領域に及びます。
ただし、タスクの枠組みは、データ収集プロトコル、ラベル辞書、利用可能な注釈の数などの点で、これらのドメイン内で異なります。
さらに、これらのスタンスの注釈は、トピックごとおよびトピック間で著しく不均衡です。
これらにより、マルチドメインのスタンス検出は困難な作業となり、標準化とドメインの適応が必要になります。
この課題を克服するために、$\textbf{T}$opic $\textbf{E}$fficient $\textbf{St}$anc$\textbf{E}$ $\textbf{D}$etection (TESTED) を提案します。
トピックに基づいた多様性サンプリング手法と、スタンス分類器を微調整するために使用される対照的な目的で構成されます。
ドメイン内、つまり見られるすべてのトピックとドメイン外、つまり見たことのないトピックの実験を使用して、$16$ データセットの既存のベンチマークでこの方法を評価します。
結果は、私たちの方法がドメイン内で平均 $3.5$ F1 ポイント増加し、最先端の手法を上回っており、$ を使用しながらドメイン外評価で平均 $10.2$ F1 ポイント増加し、より一般化可能であることを示しています。
\leq10\%$ のトレーニング データ。
私たちのサンプリング手法により、クラス間およびトピックごとの両方の不均衡が軽減されることを示します。
最後に、私たちの分析は、対照的な学習目標により、モデルがさまざまなラベルを持つサンプルをより顕著にセグメンテーションできることを示しています。

要約(オリジナル)

Stance Detection is concerned with identifying the attitudes expressed by an author towards a target of interest. This task spans a variety of domains ranging from social media opinion identification to detecting the stance for a legal claim. However, the framing of the task varies within these domains, in terms of the data collection protocol, the label dictionary and the number of available annotations. Furthermore, these stance annotations are significantly imbalanced on a per-topic and inter-topic basis. These make multi-domain stance detection a challenging task, requiring standardization and domain adaptation. To overcome this challenge, we propose $\textbf{T}$opic $\textbf{E}$fficient $\textbf{St}$anc$\textbf{E}$ $\textbf{D}$etection (TESTED), consisting of a topic-guided diversity sampling technique and a contrastive objective that is used for fine-tuning a stance classifier. We evaluate the method on an existing benchmark of $16$ datasets with in-domain, i.e. all topics seen and out-of-domain, i.e. unseen topics, experiments. The results show that our method outperforms the state-of-the-art with an average of $3.5$ F1 points increase in-domain, and is more generalizable with an averaged increase of $10.2$ F1 on out-of-domain evaluation while using $\leq10\%$ of the training data. We show that our sampling technique mitigates both inter- and per-topic class imbalances. Finally, our analysis demonstrates that the contrastive learning objective allows the model a more pronounced segmentation of samples with varying labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google