Funzac at CoMeDi Shared Task: Modeling Annotator Disagreement from Word-In-Context Perspectives

要約

この作業では、Comedi共有タスク競争の一部としての文脈的意味と意見の不一致の関係を探る、ワードインコンテスト（WIC）タスクのアノテーターの意見の不一致を評価します。
以前の研究では、アノテーター属性を単一文字入力で分析することにより意見の相違をモデル化しましたが、この共有タスクには、文レベルのセマンティック表現とアノテーターの判断の変動の間のギャップを埋めるためにWICが組み込まれています。
共有タスクのために開発した3つの異なる方法について説明します。これには、連結、要素ごとの違い、製品、およびコサインの類似性、ユークリッドおよびマンハッタンの距離を組み合わせた機能強化アプローチ、文脈埋め込み表現、アダプターブロックによる変換を拡張して得るための変換を拡張します。
コンテキスト埋め込みのタスク固有の表現、およびアンサンブルを含むさまざまな複雑さの分類器。
私たちの方法の比較は、濃縮されたタスクに特化した機能を含む方法のパフォーマンスの向上を示しています。
私たちの方法のパフォーマンスは、Subtask 1（OGWIC）の最高のシステムと比較して不足していますが、Subtask 2（Diswic）の公式評価結果に競争力があります。

要約(オリジナル)

In this work, we evaluate annotator disagreement in Word-in-Context (WiC) tasks exploring the relationship between contextual meaning and disagreement as part of the CoMeDi shared task competition. While prior studies have modeled disagreement by analyzing annotator attributes with single-sentence inputs, this shared task incorporates WiC to bridge the gap between sentence-level semantic representation and annotator judgment variability. We describe three different methods that we developed for the shared task, including a feature enrichment approach that combines concatenation, element-wise differences, products, and cosine similarity, Euclidean and Manhattan distances to extend contextual embedding representations, a transformation by Adapter blocks to obtain task-specific representations of contextual embeddings, and classifiers of varying complexities, including ensembles. The comparison of our methods demonstrates improved performance for methods that include enriched and task-specfic features. While the performance of our method falls short in comparison to the best system in subtask 1 (OGWiC), it is competitive to the official evaluation results in subtask 2 (DisWiC).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google