Adam-Smith at SemEval-2023 Task 4: Discovering Human Values in Arguments with Ensembles of Transformer-based Models

要約

この論文では、SemEval-2023 タスク 4:「議論の背後にある人間の価値観の特定」で最も優れたアプローチの別名「アダム スミス」を紹介します。
このタスクの目標は、テキスト引数内の値を自動的に識別するシステムを作成することでした。
損失最小値または f1 スコア最大値に達するまで、変圧器ベースのモデルをトレーニングします。
f1 スコアを最大化する 1 つのグローバル決定しきい値を選択してモデルをアンサンブルすると、競合他社で最高のパフォーマンスを発揮するシステムが得られます。
ロジスティック回帰によるスタッキングに基づくアンサンブルは、堅牢性を評価するために提供された追加のデータセットで最高のパフォーマンスを示します (「Nahj al-Balagha」)。
提出されたシステムの概要を説明することとは別に、大規模アンサンブル モデルの使用が必要ではないこと、およびシステム サイズを大幅に縮小できることを実証します。

要約(オリジナル)

This paper presents the best-performing approach alias ‘Adam Smith’ for the SemEval-2023 Task 4: ‘Identification of Human Values behind Arguments’. The goal of the task was to create systems that automatically identify the values within textual arguments. We train transformer-based models until they reach their loss minimum or f1-score maximum. Ensembling the models by selecting one global decision threshold that maximizes the f1-score leads to the best-performing system in the competition. Ensembling based on stacking with logistic regressions shows the best performance on an additional dataset provided to evaluate the robustness (‘Nahj al-Balagha’). Apart from outlining the submitted system, we demonstrate that the use of the large ensemble model is not necessary and that the system size can be significantly reduced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google