JuniperLiu at CoMeDi Shared Task: Models as Annotators in Lexical Semantics Disagreements

要約

多数決 (サブタスク 1) とアノテーターの不一致 (サブタスク 2) を予測する CoMeDi 共有タスクのシステムの結果を示します。
私たちのアプローチは、モデル アンサンブル戦略と、事前トレーニングされた言語モデルでトレーニングされた MLP ベースおよびしきい値ベースの手法を組み合わせたものです。
個々のモデルを仮想アノテーターとして扱い、多数派と反対派の両方を捉える連続関連性スコアと離散分類ラベルを組み込んだ集計尺度を設計することで、アノテーション プロセスをシミュレートします。
さらに、パフォーマンスを向上させるために異方性除去技術を採用しています。
実験結果は、特にサブタスク 2 について、私たちの方法の有効性を示しています。特に、さまざまなモデル操作間の連続関連性スコアの標準偏差は、集計された離散ラベルのメトリクスと比較して、人間の不一致アノテーションと相関していることがわかります。
コードは https://github.com/RyanLiut/CoMeDi_Solution で公開されます。

要約(オリジナル)

We present the results of our system for the CoMeDi Shared Task, which predicts majority votes (Subtask 1) and annotator disagreements (Subtask 2). Our approach combines model ensemble strategies with MLP-based and threshold-based methods trained on pretrained language models. Treating individual models as virtual annotators, we simulate the annotation process by designing aggregation measures that incorporate continuous relatedness scores and discrete classification labels to capture both majority and disagreement. Additionally, we employ anisotropy removal techniques to enhance performance. Experimental results demonstrate the effectiveness of our methods, particularly for Subtask 2. Notably, we find that standard deviation on continuous relatedness scores among different model manipulations correlates with human disagreement annotations compared to metrics on aggregated discrete labels. The code will be published at https://github.com/RyanLiut/CoMeDi_Solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google