A Rate-Distortion Framework for Summarization

要約

この論文では、テキスト要約のための情報理論フレームワークを紹介します。
サマライザのレート歪み関数を定義し、それがサマライザのパフォーマンスに基本的な下限を提供することを示します。
この関数を計算するための、Blahut-Arimoto アルゴリズムと同様の反復手順について説明します。
実世界のテキストデータセットを扱うために、限られたデータでサマライザレート歪み関数を計算できる実用的な方法も提案します。
最後に、サマライザのレート歪み関数を実際に使用されるさまざまなサマライザのパフォーマンスと比較することにより、理論的結果を経験的に確認します。

要約(オリジナル)

This paper introduces an information-theoretic framework for text summarization. We define the summarizer rate-distortion function and show that it provides a fundamental lower bound on summarizer performance. We describe an iterative procedure, similar to Blahut-Arimoto algorithm, for computing this function. To handle real-world text datasets, we also propose a practical method that can calculate the summarizer rate-distortion function with limited data. Finally, we empirically confirm our theoretical results by comparing the summarizer rate-distortion function with the performances of different summarizers used in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google