A Lightweight Constrained Generation Alternative for Query-focused Summarization

要約

タイトル：制約がついた生成法を利用した軽量なクエリ重点要約

要約：
– クエリ重点要約（QFS）は、与えられたクエリの情報ニーズを満たす文章の要約を提供し、抽象的なスニペット生成のような様々なIRアプリケーションで役立ちます。
– 現在のQFSアプローチは、通常、クエリ-回答相関や文書とクエリの細かいトークンレベルの相互作用などの追加情報を、調整された大規模言語モデルに注入することを必要とします。しかし、これらのアプローチはしばしば余分なパラメーターやトレーニングを必要とし、新しいデータセットの分布に対しては一般化が悪いという問題があります。
– これを軽減するために、制約生成モデルであるNeurological Decoding（NLD）を利用して、現在のQFS体制に代わる軽量なアプローチを提案します。文書から重要なトークンを特定するために軽量な勾配の属性モデルを使用してレキシカル制約を構築し、最終的な語彙の尤度を直接操作して、生成された要約がこれらの制約を満たすようにします。この軽量なアプローチは、オフシェルフのニューラル検索モデルを制約の構築に利用し、標準的な生成言語モデルを利用するため、追加のパラメーターや調整を必要としません。
– パブリックなQFSコレクションでの効果を2例示し、複雑さが著しく低減され、最新モデルとほぼ同等の性能を実現しました。

要約(オリジナル)

Query-focused summarization (QFS) aims to provide a summary of a document that satisfies information need of a given query and is useful in various IR applications, such as abstractive snippet generation. Current QFS approaches typically involve injecting additional information, e.g. query-answer relevance or fine-grained token-level interaction between a query and document, into a finetuned large language model. However, these approaches often require extra parameters \& training, and generalize poorly to new dataset distributions. To mitigate this, we propose leveraging a recently developed constrained generation model Neurological Decoding (NLD) as an alternative to current QFS regimes which rely on additional sub-architectures and training. We first construct lexical constraints by identifying important tokens from the document using a lightweight gradient attribution model, then subsequently force the generated summary to satisfy these constraints by directly manipulating the final vocabulary likelihood. This lightweight approach requires no additional parameters or finetuning as it utilizes both an off-the-shelf neural retrieval model to construct the constraints and a standard generative language model to produce the QFS. We demonstrate the efficacy of this approach on two public QFS collections achieving near parity with the state-of-the-art model with substantially reduced complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI