Investigating the Nature of Disagreements on Mid-Scale Ratings: A Case Study on the Abstractness-Concreteness Continuum

要約

人間は、極端な場合のスケールでの評価に強く同意する傾向があります (たとえば、CAT が非常に具体的であると判断される) が、中程度のスケールの単語の判断では不一致が多くなります。
しかし、収集された評価基準は分野を超えて多用されています。
私たちの研究は具体性の評価に焦点を当てており、(i) 相関関係と教師あり分類を実装して中規模の単語の顕著な多峰性の特徴を特定し、(ii) ハード クラスタリングを適用して評価者間の体系的な不一致のパターンを特定します。
私たちの結果は、中規模のターゲット単語を使用する前に、微調整するかフィルタリングすることを示唆しています。

要約(オリジナル)

Humans tend to strongly agree on ratings on a scale for extreme cases (e.g., a CAT is judged as very concrete), but judgements on mid-scale words exhibit more disagreement. Yet, collected rating norms are heavily exploited across disciplines. Our study focuses on concreteness ratings and (i) implements correlations and supervised classification to identify salient multi-modal characteristics of mid-scale words, and (ii) applies a hard clustering to identify patterns of systematic disagreement across raters. Our results suggest to either fine-tune or filter mid-scale target words before utilising them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google