ARC: Argument Representation and Coverage Analysis for Zero-Shot Long Document Summarization with Instruction Following LLMs

要約

構造化された情報を統合することで、特に顕著なコンテンツの保持において、抽象的な要約の品質が長い間向上しました。
この作業では、特定の形式の構造に焦点を当てています。これは、法律などのハイステークスドメインでドキュメントを要約するために重要です。
この情報を適切に保存するかどうかを調査します。
この目的のために、LLMで生成された要約を測定するためのフレームワークである引数表現カバレッジ（ARC）を紹介します。
ARCを使用して、議論の役割が中心である2つのドメインで3つのオープンウェイトLLMによって生成された要約を分析します：長い法的意見と科学記事。
私たちの結果は、LLMSが顕著な引数の役割をある程度カバーする一方で、特に入力全体に引数がまばらに分布している場合、生成された要約で重要な情報が省略されることが多いことを示しています。
さらに、ARCを使用して行動パターンを明らかにします。具体的には、LLMコンテキストウィンドウとロール固有の好みの位置バイアスが、生成された要約における重要な引数のカバレッジにどのように影響し、より多くの議論を意識する要約戦略の必要性を強調します。

要約(オリジナル)

Integrating structured information has long improved the quality of abstractive summarization, particularly in retaining salient content. In this work, we focus on a specific form of structure: argument roles, which are crucial for summarizing documents in high-stakes domains such as law. We investigate whether instruction-tuned large language models (LLMs) adequately preserve this information. To this end, we introduce Argument Representation Coverage (ARC), a framework for measuring how well LLM-generated summaries capture salient arguments. Using ARC, we analyze summaries produced by three open-weight LLMs in two domains where argument roles are central: long legal opinions and scientific articles. Our results show that while LLMs cover salient argument roles to some extent, critical information is often omitted in generated summaries, particularly when arguments are sparsely distributed throughout the input. Further, we use ARC to uncover behavioral patterns — specifically, how the positional bias of LLM context windows and role-specific preferences impact the coverage of key arguments in generated summaries, emphasizing the need for more argument-aware summarization strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google