FuocChuVIP123 at CoMeDi Shared Task: Disagreement Ranking with XLM-Roberta Sentence Embeddings and Deep Neural Regression

要約

この文書では、サブタスク 2: 意見の不一致ランキングに焦点を当て、CoMeDi 共有タスク用のシステムの結果を示します。
私たちのシステムは、paraphrase-xlm-r-multilingual-v1 モデルによって生成された文埋め込みを利用し、一般化を向上させるためにバッチ正規化とドロップアウトを組み込んだディープ ニューラル回帰モデルと組み合わせています。
アノテーター間のペアごとの判断の差の平均を予測することにより、私たちの方法は、従来の「ゴールドラベル」集計アプローチとは異なり、不一致ランキングを明示的にターゲットにしています。
カスタマイズされたアーキテクチャとトレーニング手順でシステムを最適化し、平均不一致ラベルに対するスピアマン相関で競争力のあるパフォーマンスを達成しました。
私たちの結果は、堅牢な埋め込み、効果的なモデル アーキテクチャ、多言語コンテキストでのランク付けの不一致に対する判断の違いの慎重な処理の重要性を強調しています。
これらの発見は、順序判断タスクにおける文脈化された表現の使用に関する洞察を提供し、不一致予測モデルをさらに改良するための道を開きます。

要約(オリジナル)

This paper presents results of our system for CoMeDi Shared Task, focusing on Subtask 2: Disagreement Ranking. Our system leverages sentence embeddings generated by the paraphrase-xlm-r-multilingual-v1 model, combined with a deep neural regression model incorporating batch normalization and dropout for improved generalization. By predicting the mean of pairwise judgment differences between annotators, our method explicitly targets disagreement ranking, diverging from traditional ‘gold label’ aggregation approaches. We optimized our system with a customized architecture and training procedure, achieving competitive performance in Spearman correlation against mean disagreement labels. Our results highlight the importance of robust embeddings, effective model architecture, and careful handling of judgment differences for ranking disagreement in multilingual contexts. These findings provide insights into the use of contextualized representations for ordinal judgment tasks and open avenues for further refinement of disagreement prediction models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google