mCPT at SemEval-2023 Task 3: Multilingual Label-Aware Contrastive Pre-Training of Transformers for Few- and Zero-shot Framing Detection

要約

このホワイト ペーパーでは、スペイン語のゼロ ショット フレーミング検出タスクの勝利システムを紹介します。このシステムは、8 つの追加言語でも競争力のある場所を獲得しています。
フレーミング検出タスクの課題は、使用可能なサンプルがわずかまたはゼロの場合、つまり、多言語マルチラベルの少数またはゼロ ショット設定の場合に、14 フレームのセットを識別することにあります。
私たちが開発したソリューションは、ラベルを意識した対照的な損失関数を使用した多言語トランスフォーマーに基づく事前トレーニング手順を採用しています。
システムの説明に加えて、埋め込み空間分析とアブレーション研究を実行して、事前トレーニング手順がフレーミング検出をサポートして計算フレーミング分析を進める方法を示します。

要約(オリジナル)

This paper presents the winning system for the zero-shot Spanish framing detection task, which also achieves competitive places in eight additional languages. The challenge of the framing detection task lies in identifying a set of 14 frames when only a few or zero samples are available, i.e., a multilingual multi-label few- or zero-shot setting. Our developed solution employs a pre-training procedure based on multilingual Transformers using a label-aware contrastive loss function. In addition to describing the system, we perform an embedding space analysis and ablation study to demonstrate how our pre-training procedure supports framing detection to advance computational framing analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google