Enhancing Post-Hoc Attributions in Long Document Comprehension via Coarse Grained Answer Decomposition

要約

信頼性の高い質問応答システムを開発するには、回答テキストをソース文書に正確に帰属させることが重要です。
ただし、長い文書の帰属についてはほとんど調査されていないままです。
事後帰属システムは、回答テキストをソース文書にマッピングして戻すように設計されていますが、このマッピングの粒度についてはまだ対処されていません。
さらに、重要な疑問が生じます。根拠を必要とする回答内の情報単位を特定することに重点を置いて、正確に何を帰すべきでしょうか?
この論文では、テンプレートベースのインコンテキスト学習を使用して、アトリビューションのために生成された回答の事実分解に対する新しいアプローチを提案および調査します。
これを達成するために、質問を利用し、分解のための数回のコンテキスト内学習中にネガティブ サンプリングを統合します。
このアプローチにより、抽象的な回答と抽出的な回答の両方の意味的理解が強化されます。
検索ベースの手法から LLM ベースの属性に至るまで、さまざまな属性アプローチを徹底的に調べることで、回答分解の影響を調べます。

要約(オリジナル)

Accurately attributing answer text to its source document is crucial for developing a reliable question-answering system. However, attribution for long documents remains largely unexplored. Post-hoc attribution systems are designed to map answer text back to the source document, yet the granularity of this mapping has not been addressed. Furthermore, a critical question arises: What precisely should be attributed, with an emphasis on identifying the information units within an answer that necessitate grounding? In this paper, we propose and investigate a novel approach to the factual decomposition of generated answers for attribution, employing template-based in-context learning. To accomplish this, we utilize the question and integrate negative sampling during few-shot in-context learning for decomposition. This approach enhances the semantic understanding of both abstractive and extractive answers. We examine the impact of answer decomposition by providing a thorough examination of various attribution approaches, ranging from retrieval-based techniques to LLM-based attributors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google