NovAScore: A New Automated Metric for Evaluating Document Level Novelty

要約

オンライン コンテンツの急速な拡大により、情報の冗長性の問題が深刻化し、真に新しい情報を識別できるソリューションの必要性が強調されています。
この課題にもかかわらず、研究コミュニティでは、特に大規模言語モデル (LLM) の台頭により、新規性検出への注目が薄れてきています。
さらに、これまでのアプローチは人による注釈に大きく依存していましたが、時間と費用がかかり、特にアノテーターが対象の文書を膨大な数の歴史的文書と比較する必要がある場合には困難でした。
この作業では、ドキュメントレベルの新規性を評価するための自動メトリクスである NovAScore (Novelty Evaluation in Atomicity Score) を導入します。
NovAScore は、アトミック情報の新規性と顕著性のスコアを集約し、文書の新規性の高い解釈性と詳細な分析を提供します。
NovAScore は、動的な重み調整スキームにより、柔軟性が強化され、ドキュメント内の情報の新規性レベルと重要性の両方を評価するための追加の次元を提供します。
私たちの実験では、NovAScore が人間による新規性の判断と強い相関があり、TAP-DLND 1.0 データセットで 0.626 ポイントバイシリアル相関、人間による注釈が付けられた内部データセットで 0.920 ピアソン相関を達成したことが示されています。

要約(オリジナル)

The rapid expansion of online content has intensified the issue of information redundancy, underscoring the need for solutions that can identify genuinely new information. Despite this challenge, the research community has seen a decline in focus on novelty detection, particularly with the rise of large language models (LLMs). Additionally, previous approaches have relied heavily on human annotation, which is time-consuming, costly, and particularly challenging when annotators must compare a target document against a vast number of historical documents. In this work, we introduce NovAScore (Novelty Evaluation in Atomicity Score), an automated metric for evaluating document-level novelty. NovAScore aggregates the novelty and salience scores of atomic information, providing high interpretability and a detailed analysis of a document’s novelty. With its dynamic weight adjustment scheme, NovAScore offers enhanced flexibility and an additional dimension to assess both the novelty level and the importance of information within a document. Our experiments show that NovAScore strongly correlates with human judgments of novelty, achieving a 0.626 Point-Biserial correlation on the TAP-DLND 1.0 dataset and a 0.920 Pearson correlation on an internal human-annotated dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google