mCPT at SemEval-2023 Task 3: Multilingual Label-Aware Contrastive Pre-Training of Transformers for Few- and Zero-shot Framing Detection

要約

この論文では、スペイン語のゼロショット フレーミング検出タスクで優勝したシステムを紹介します。このシステムは、さらに 8 つの言語でも競争力を発揮します。
フレーミング検出タスクの課題は、使用可能なサンプルが数個またはゼロの場合、つまり、多言語マルチラベルの数ショットまたはゼロショット設定の場合に、14 フレームのセットを識別することにあります。
私たちが開発したソリューションは、ラベルを認識した対比損失関数を使用した多言語トランスフォーマーに基づく事前トレーニング手順を採用しています。
システムの説明に加えて、埋め込み空間解析とアブレーション研究を実行して、事前トレーニング手順がフレーミング検出をサポートして計算フレーミング解析を進める方法を実証します。

要約(オリジナル)

This paper presents the winning system for the zero-shot Spanish framing detection task, which also achieves competitive places in eight additional languages. The challenge of the framing detection task lies in identifying a set of 14 frames when only a few or zero samples are available, i.e., a multilingual multi-label few- or zero-shot setting. Our developed solution employs a pre-training procedure based on multilingual Transformers using a label-aware contrastive loss function. In addition to describing the system, we perform an embedding space analysis and ablation study to demonstrate how our pre-training procedure supports framing detection to advance computational framing analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google