Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy

要約

事実の矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。矛盾検出を強化する主要な方向性は、より強力な自然言語推論（NLI）モデルを導出することであるが、我々は、推論にタスク固有の分類法を組み込むことの重要性を強調する直交的な側面を提案する。この目的のために、我々は要約における矛盾した事実の主要なエラータイプを統合し、LLMのゼロショットと教師ありの両方のパラダイムを促進するためにそれらを組み込む。5つの異なるドメインの10個のデータセットを用いた広範な実験により、ゼロショットLLM推論が、エラータイプ分類法によって描かれる明示的な解空間の恩恵を受けることが示唆され、専門的な非LLMベースラインや最近のLLMベースラインを凌ぐ、全体として最先端の性能を達成した。さらに、我々が設計したプロンプト補完と教師付き学習戦略により、分類学をパラメータに融合したモデルを抽出し、最先端のゼロショット推論をより大規模なLLMで効率的に代替する。

要約(オリジナル)

Factual inconsistencies pose a significant hurdle for the faithful summarization by generative models. While a major direction to enhance inconsistency detection is to derive stronger Natural Language Inference (NLI) models, we propose an orthogonal aspect that underscores the importance of incorporating task-specific taxonomy into the inference. To this end, we consolidate key error types of inconsistent facts in summaries, and incorporate them to facilitate both the zero-shot and supervised paradigms of LLMs. Extensive experiments on ten datasets of five distinct domains suggest that, zero-shot LLM inference could benefit from the explicit solution space depicted by the error type taxonomy, and achieves state-of-the-art performance overall, surpassing specialized non-LLM baselines, as well as recent LLM baselines. We further distill models that fuse the taxonomy into parameters through our designed prompt completions and supervised training strategies, efficiently substituting state-of-the-art zero-shot inference with much larger LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL