Mao-Zedong At SemEval-2023 Task 4: Label Represention Multi-Head Attention Model With Contrastive Learning-Enhanced Nearest Neighbor Mechanism For Multi-Label Text Classification

要約

人間の価値観の研究は、実践的領域と理論的領域の両方で不可欠です。
計算言語学の発達により、大規模なデータセットの作成により、人間の価値観を自動的に正確に認識できるようになりました。
SemEval 2023 タスク 4\cite{kiesel:2023} は、一連の引数と、各引数で暗黙的に表現される 20 種類の人間の価値観を提供します。
このホワイトペーパーでは、私たちのチームのソリューションを紹介します。
私たちは Roberta\cite{liu_roberta_2019} モデルを使用して文書のワード ベクトル エンコーディングを取得し、特定のラベルと意味コンポーネント間の接続を確立するためのマルチヘッド アテンション メカニズムを提案します。
さらに、対照学習を強化した K 近傍メカニズム\cite{su_contrastive_2022} を使用して、既存のインスタンス情報を予測に活用します。
私たちのアプローチはテストセットで 0.533 の F1 スコアを達成し、リーダーボードで 4 位にランクされました。

要約(オリジナル)

The study of human values is essential in both practical and theoretical domains. With the development of computational linguistics, the creation of large-scale datasets has made it possible to automatically recognize human values accurately. SemEval 2023 Task 4\cite{kiesel:2023} provides a set of arguments and 20 types of human values that are implicitly expressed in each argument. In this paper, we present our team’s solution. We use the Roberta\cite{liu_roberta_2019} model to obtain the word vector encoding of the document and propose a multi-head attention mechanism to establish connections between specific labels and semantic components. Furthermore, we use a contrastive learning-enhanced K-nearest neighbor mechanism\cite{su_contrastive_2022} to leverage existing instance information for prediction. Our approach achieved an F1 score of 0.533 on the test set and ranked fourth on the leaderboard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google