Epicurus at SemEval-2023 Task 4: Improving Prediction of Human Values behind Arguments by Leveraging Their Definitions

要約

SemEval-2023 タスク 4 の議論の背後にある人間の価値の識別 (ValueEval) の実験について説明します。
人間の価値観は正確な定義を必要とする主観的な概念であるため、モデルのトレーニング中に人間の価値観の定義を (注釈の指示と検証済みの調査項目の形で) 組み込むことで、より優れた予測パフォーマンスが得られるという仮説を立てています。
このアイデアを検討し、提案されたモデルがチャレンジ主催者のベースラインよりも優れたパフォーマンスを発揮し、マクロ F1 スコアが最大 18% 向上することを示します。

要約(オリジナル)

We describe our experiments for SemEval-2023 Task 4 on the identification of human values behind arguments (ValueEval). Because human values are subjective concepts which require precise definitions, we hypothesize that incorporating the definitions of human values (in the form of annotation instructions and validated survey items) during model training can yield better prediction performance. We explore this idea and show that our proposed models perform better than the challenge organizers’ baselines, with improvements in macro F1 scores of up to 18%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google