IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization

要約

クエリ中心の要約 (QFS) は、関心のある特定の質問に答える要約を作成し、ユーザーの制御とパーソナライゼーションを強化することを目的としています。
大規模言語モデル (LLM) の出現により、大規模な事前トレーニングを通じてテキストを理解する優れた能力が示されており、これは抽出スニペット生成の大きな可能性を示唆しています。
この論文では、LLM ベースの QFS モデルを利用する必要がある 2 つの不可欠な特性、すなわち、長い文書の要約と効率的なきめの細かいクエリと LLM の調整をそれぞれ体系的に調査しました。
これに対応して、前述の特性にアクセスするために、Query-aware HyperExpert と Query-focused Infini-attention と呼ばれる 2 つのモジュールを提案します。
これらの革新は、QFS テクノロジーの分野でのより広範なアプリケーションとアクセシビリティへの道を開きます。
既存の QFS ベンチマークに対して行われた広範な実験により、提案されたアプローチの有効性と一般化可能性が示されています。
私たちのコードは https://github.com/DCDmllm/IDEAL_summary で公開されています。

要約(オリジナル)

Query-focused summarization (QFS) aims to produce summaries that answer particular questions of interest, enabling greater user control and personalization. With the advent of large language models (LLMs), shows their impressive capability of textual understanding through large-scale pretraining, which implies the great potential of extractive snippet generation. In this paper, we systematically investigated two indispensable characteristics that the LLMs-based QFS models should be harnessed, Lengthy Document Summarization and Efficiently Fine-grained Query-LLM Alignment, respectively. Correspondingly, we propose two modules called Query-aware HyperExpert and Query-focused Infini-attention to access the aforementioned characteristics. These innovations pave the way for broader application and accessibility in the field of QFS technology. Extensive experiments conducted on existing QFS benchmarks indicate the effectiveness and generalizability of the proposed approach. Our code is publicly available at https://github.com/DCDmllm/IDEAL_Summary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google