A Fair and In-Depth Evaluation of Existing End-to-End Entity Linking Systems

要約

エンティティ リンク システムの既存の評価では、特定のアプリケーションに対してシステムがどのように動作するかについてほとんど言及されていないことがよくあります。
これには 2 つの基本的な理由があります。
1 つは、多くの評価では、詳細なエラー分析や結果の詳細な調査が行われず、集計指標 (適合率、再現率、F1 スコアなど) のみが使用されることです。
もう 1 つは、広く使用されているすべてのベンチマークには強いバイアスとアーティファクトがあり、特に、名前付きエンティティに重点が置かれていること、エンティティへの言及として他に何をカウントするかの仕様が不明瞭または欠落していること、あいまいさの処理が不十分であること、および過剰または不正確であることです。
特定の種類の実体の過小評価。
当社は、既存のさまざまなエンドツーエンド エンティティ リンカーについて、より有意義で公正な詳細な評価を提供します。
私たちはそれらの長所と短所を特徴づけ、再現性の側面についても報告します。
評価の詳細な結果は、 https://elevant.cs.uni-freiburg.de/emnlp2023 で確認できます。
私たちの評価は、上記の問題をさまざまな程度で示す、広く使用されているいくつかのベンチマークと、上記の問題に対処する 2 つの新しいベンチマークに基づいています。
新しいベンチマークは https://github.com/ad-freiburg/fair-entity-linking-benchmarks にあります。

要約(オリジナル)

Existing evaluations of entity linking systems often say little about how the system is going to perform for a particular application. There are two fundamental reasons for this. One is that many evaluations only use aggregate measures (like precision, recall, and F1 score), without a detailed error analysis or a closer look at the results. The other is that all of the widely used benchmarks have strong biases and artifacts, in particular: a strong focus on named entities, an unclear or missing specification of what else counts as an entity mention, poor handling of ambiguities, and an over- or underrepresentation of certain kinds of entities. We provide a more meaningful and fair in-depth evaluation of a variety of existing end-to-end entity linkers. We characterize their strengths and weaknesses and also report on reproducibility aspects. The detailed results of our evaluation can be inspected under https://elevant.cs.uni-freiburg.de/emnlp2023 . Our evaluation is based on several widely used benchmarks, which exhibit the problems mentioned above to various degrees, as well as on two new benchmarks, which address the problems mentioned above. The new benchmarks can be found under https://github.com/ad-freiburg/fair-entity-linking-benchmarks .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google