FABLES: Evaluating faithfulness and content selection in book-length summarization

要約

ロングコンテキストのラージ言語モデル (LLM) は、技術的には書籍サイズのドキュメント (>100K トークン) を要約できますが、ドキュメントの長さと複雑さにより、忠実度などの入力に依存する側面の評価はこれまで不可能でした。
この論文では、LLM が生成した架空の本の要約について、忠実性と内容選択について初めて大規模な人による評価を実施します。
私たちの研究では、2023 年または 2024 年に出版された書籍の要約に焦点を当てることでデータ汚染の問題を軽減し、コストと認知的負担を最小限に抑えるために、アノテーション タスクの前に各書籍を十分に読んだアノテーターを雇用しています。
私たちは、LLM が生成した 26 冊の書籍の要約に含まれる 3,158 件の主張に関する注釈のデータセットである FABLES を 520,000 米ドルの費用で収集しています。これにより、忠実度に基づいて LLM 要約者をランク付けできます。Claude-3-Opus は、すべてのクローズ済みの結果を大幅に上回っています。
オープンソースの Mixtral は GPT-3.5-Turbo と同等です。
注釈の分析により、不誠実な主張のほとんどは出来事や人物の状態に関連しており、通常、それらを無効にするためには物語に対する間接的な推論が必要であることが明らかになりました。
LLM ベースの自動評価ツールは、他の設定では事実性と一貫性に関して信頼できることが証明されていますが、忠実度についていくつかの LLM 評価ツールを実装しましたが、特に不誠実な主張の検出に関して、人間の注釈と強く相関するものはないことがわかりました。
私たちの実験は、不誠実な主張を検出することが、要約評価のためだけでなく、長い文脈を理解するためのテストベッドとしても重要な将来の方向性であることを示唆しています。
最後に、本の長さの要約における内容選択の誤りを調査することにより、忠実性を超えて進みます。重要な物語要素に関連する省略誤りの類型を開発し、また本の終わりに向かって起こる出来事の体系的な過度の強調も特定します。

要約(オリジナル)

While long-context large language models (LLMs) can technically summarize book-length documents (>100K tokens), the length and complexity of the documents have so far prohibited evaluations of input-dependent aspects like faithfulness. In this paper, we conduct the first large-scale human evaluation of faithfulness and content selection on LLM-generated summaries of fictional books. Our study mitigates the issue of data contamination by focusing on summaries of books published in 2023 or 2024, and we hire annotators who have fully read each book prior to the annotation task to minimize cost and cognitive burden. We collect FABLES, a dataset of annotations on 3,158 claims made in LLM-generated summaries of 26 books, at a cost of $5.2K USD, which allows us to rank LLM summarizers based on faithfulness: Claude-3-Opus significantly outperforms all closed-source LLMs, while the open-source Mixtral is on par with GPT-3.5-Turbo. An analysis of the annotations reveals that most unfaithful claims relate to events and character states, and they generally require indirect reasoning over the narrative to invalidate. While LLM-based auto-raters have proven reliable for factuality and coherence in other settings, we implement several LLM raters of faithfulness and find that none correlates strongly with human annotations, especially with regard to detecting unfaithful claims. Our experiments suggest that detecting unfaithful claims is an important future direction not only for summarization evaluation but also as a testbed for long-context understanding. Finally, we move beyond faithfulness by exploring content selection errors in book-length summarization: we develop a typology of omission errors related to crucial narrative elements and also identify a systematic over-emphasis on events occurring towards the end of the book.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google