要約
説明文の説明の妥当性を評価するための共有タスクである SemEval-2022 タスク 7 について説明します。
このタスクのデータセットは、手動で明確化されたハウツー ガイドで構成されており、それに対して代替の明確化を生成し、人間による妥当性の判断を収集しました。
参加しているシステムのタスクは、それぞれの文脈における説明の妥当性を自動的に判断することでした。
合計 21 人の参加者がこのタスクに参加し、最良のシステムでは 68.9% の精度を達成しました。
このレポートには、8 チームの結果と調査結果、およびそのシステムの説明がまとめられています。
最後に、追加の評価で、トップ参加チームによる予測により、複数のもっともらしい説明を含むコンテキストを 75.2% の精度で特定できることがわかりました。
要約(オリジナル)
We describe SemEval-2022 Task 7, a shared task on rating the plausibility of clarifications in instructional texts. The dataset for this task consists of manually clarified how-to guides for which we generated alternative clarifications and collected human plausibility judgements. The task of participating systems was to automatically determine the plausibility of a clarification in the respective context. In total, 21 participants took part in this task, with the best system achieving an accuracy of 68.9%. This report summarizes the results and findings from 8 teams and their system descriptions. Finally, we show in an additional evaluation that predictions by the top participating team make it possible to identify contexts with multiple plausible clarifications with an accuracy of 75.2%.
arxiv情報
| 著者 | Michael Roth,Talita Anthonio,Anna Sauer |
| 発行日 | 2023-09-21 14:19:04+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google