Information-Theoretic Distillation for Reference-less Summarization

要約

現在の自動要約の勝利レシピは、ChatGPT などの独自の大規模言語モデル (LLM) をそのまま使用するか、それらからの模倣学習を教師モデルとして使用することです。
このような大規模な言語モデルへの依存がますます普及しているのは便利ですが、よりコスト効率の高い代替学習方法を模索した場合、小規模なモデルでも競争力のある結果を達成できたかどうかという重要な疑問が残っています。
、制御可能でありながら強力なサマライザー。
我々は、LLM の機能や人間が書いた参照に依存せずに、要約のための情報理論的な目的に基づいて強力な要約を抽出するための新しいフレームワークである InfoSumm を紹介します。
これを達成するために、我々はまず、元の文書と要約の間の相互情報のレンズを通して、要約の要望（顕著性、忠実さ、簡潔さ）の新しい定式化を提案します。
この定式化に基づいて、まだ要約機能が備わっていない Pythia-2.8B を教師モデルとして開始し、次にモデルを自己トレーニングして、理想的な要約の情報中心の尺度を最適化します。
改良された教師から抽出した結果、ChatGPT の機能に依存することなく、ChatGPT と競合するパフォーマンスを発揮する、わずか 5 億 6,800 万のパラメーターを備えたコンパクトながら強力なサマライザーに到達しました。
広範な分析により、私たちのアプローチは人間の評価においては、最先端の教師なし手法はもちろんのこと、ドメイン内教師ありモデルよりも優れており、制御可能な要約においては ChatGPT よりも優れていることが実証されています。

要約(オリジナル)

The current winning recipe for automatic summarization is using proprietary large-scale language models (LLMs) such as ChatGPT as is, or imitation learning from them as teacher models. While increasingly ubiquitous dependence on such large-scale language models is convenient, there remains an important question of whether small-scale models could have achieved competitive results, if we were to seek an alternative learning method — that allows for a more cost-efficient, controllable, yet powerful summarizer. We present InfoSumm, a novel framework to distill a powerful summarizer based on the information-theoretic objective for summarization, without relying on either the LLM’s capability or human-written references. To achieve this, we first propose a novel formulation of the desiderata of summarization (saliency, faithfulness and brevity) through the lens of mutual information between the original document and the summary. Based on this formulation, we start off from Pythia-2.8B as the teacher model, which is not yet capable of summarization, then self-train the model to optimize for the information-centric measures of ideal summaries. Distilling from the improved teacher, we arrive at a compact but powerful summarizer with only 568M parameters that performs competitively against ChatGPT, without ever relying on ChatGPT’s capabilities. Extensive analysis demonstrates that our approach outperforms in-domain supervised models in human evaluation, let alone state-of-the-art unsupervised methods, and wins over ChatGPT in controllable summarization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google