Towards Interpretable and Efficient Automatic Reference-Based Summarization Evaluation

要約

解釈可能性と効率性は、ニューラル自動メトリックを採用するための 2 つの重要な考慮事項です。
この作業では、最初に 1 つのテキスト シーケンスから基本的な情報単位を抽出し、次に抽出された単位を別のシーケンスでチェックする 2 段階の評価パイプラインに基づいて、参照ベースの要約評価のための強力なパフォーマンスの自動メトリックを開発します。
開発したメトリクスには、粒度の細かいユニット レベルとサマリー レベルの両方で高い解釈可能性を提供できる 2 段階のメトリクスと、効率と相互運用性のバランスを実現する 1 段階のメトリクスが含まれます。
開発したツールは、Python パッケージと GitHub を通じて公開しています。

要約(オリジナル)

Interpretability and efficiency are two important considerations for the adoption of neural automatic metrics. In this work, we develop strong-performing automatic metrics for reference-based summarization evaluation, based on a two-stage evaluation pipeline that first extracts basic information units from one text sequence and then checks the extracted units in another sequence. The metrics we developed include two-stage metrics that can provide high interpretability at both the fine-grained unit level and summary level, and one-stage metrics that achieve a balance between efficiency and interoperability. We make the developed tools publicly available through a Python package and GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google