No Gold Standard, No Problem: Reference-Free Evaluation of Taxonomies

要約

分類法の品質評価のために、2つの参照なしのメトリックを紹介します。
最初のメトリックは、セマンティックと分類学的類似性の相関を計算することにより堅牢性を評価し、既存のメトリックによって処理されないエラーの種類をカバーします。
2番目は自然言語の推論を使用して、論理的妥当性を評価します。
どちらのメトリックも5つの分類法でテストされており、金標準の分類法に対してF1とよく相関することが示されています。

要約(オリジナル)

We introduce two reference-free metrics for quality evaluation of taxonomies. The first metric evaluates robustness by calculating the correlation between semantic and taxonomic similarity, covering a type of error not handled by existing metrics. The second uses Natural Language Inference to assess logical adequacy. Both metrics are tested on five taxonomies and are shown to correlate well with F1 against gold-standard taxonomies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google