RaTE: a Reproducible automatic Taxonomy Evaluation by Filling the Gap

要約

タクソノミーは必須の知識表現ですが、自動タクソノミー構築 (ATC) に関する研究のほとんどは、提案されたアルゴリズムをスコアリングするために手動評価に頼っています。
私たちは、自動分類評価 (ATE) が分類構築と同じくらい重要であると主張します。
我々は、事前にトレーニングされた大規模な言語モデルに依存する、ラベルフリーの自動分類スコアリング手順である RaTE を提案します。
私たちは、Yelp ドメインから 7 つの分類法を構築した 3 つの最先端の ATC アルゴリズムに評価手順を適用し、1) RaTE が人間の判断とよく相関すること、2) 分類法を人為的に劣化させると RaTE スコアが低下することを示しました。
。

要約(オリジナル)

Taxonomies are an essential knowledge representation, yet most studies on automatic taxonomy construction (ATC) resort to manual evaluation to score proposed algorithms. We argue that automatic taxonomy evaluation (ATE) is just as important as taxonomy construction. We propose RaTE, an automatic label-free taxonomy scoring procedure, which relies on a large pre-trained language model. We apply our evaluation procedure to three state-of-the-art ATC algorithms with which we built seven taxonomies from the Yelp domain, and show that 1) RaTE correlates well with human judgments and 2) artificially degrading a taxonomy leads to decreasing RaTE score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google