Contextual information integration for stance detection via cross-attention

要約

スタンス検出は、ターゲットに対する著者のスタンスを特定することを扱います。
既存のスタンス検出モデルのほとんどは、スタンスを正しく推測できる関連するコンテキスト情報を考慮していないため、限界があります。
補完的なコンテキストはナレッジ ベースで見つけることができますが、標準のナレッジ ベースのグラフ構造により、コンテキストを事前トレーニングされた言語モデルに統合することは簡単ではありません。
これを克服するために、構造化された知識ソースなどの異種ソースからのコンテキスト情報を統合し、大規模な言語モデルをプロンプトすることを可能にする、コンテキスト情報をテキストとして統合するアプローチを検討します。
私たちのアプローチは、クロスターゲット設定、つまりトレーニング中に見えないターゲットにおける大規模で多様なスタンス検出ベンチマークで、競合ベースラインを上回るパフォーマンスを発揮できます。
ノイズの多いコンテキストに対してより堅牢であり、ラベルとターゲット固有の語彙間の不要な相関を正規化できることを実証します。
最後に、使用中の事前トレーニング済み言語モデルから独立しています。

要約(オリジナル)

Stance detection deals with identifying an author’s stance towards a target. Most existing stance detection models are limited because they do not consider relevant contextual information which allows for inferring the stance correctly. Complementary context can be found in knowledge bases but integrating the context into pretrained language models is non-trivial due to the graph structure of standard knowledge bases. To overcome this, we explore an approach to integrate contextual information as text which allows for integrating contextual information from heterogeneous sources, such as structured knowledge sources and by prompting large language models. Our approach can outperform competitive baselines on a large and diverse stance detection benchmark in a cross-target setup, i.e. for targets unseen during training. We demonstrate that it is more robust to noisy context and can regularize for unwanted correlations between labels and target-specific vocabulary. Finally, it is independent of the pretrained language model in use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google