Understanding Retrieval Augmentation for Long-Form Question Answering

要約

長文質問応答に関する検索拡張言語モデル (LM) の研究を紹介します。
同じ証拠文書を使用しながらモデルから生成された回答を比較することにより、検索拡張がさまざまな LM にどのような影響を与えるか、また検索文書セットの品質の違いが同じ LM から生成された回答にどのような影響を与えるかを分析します。
私たちは、生成された長い形式の回答が文脈内の証拠文書に帰属することに重点を置き、生成された回答のさまざまな属性 (流暢さ、長さ、差異など) を研究します。
回答の帰属に関する人間によるアノテーションを収集し、帰属を自動的に判断する方法を評価します。
私たちの研究は、検索拡張が LM の長く知識豊富なテキスト生成にどのような影響を与えるかについて、新たな洞察を提供します。
さらに、長いテキスト生成の帰属パターンを特定し、帰属エラーの主な原因を分析します。
私たちの分析を総合すると、検索の拡張が知識豊富な長いテキストの生成にどのような影響を与えるかを明らかにし、今後の作業の方向性を示します。

要約(オリジナル)

We present a study of retrieval-augmented language models (LMs) on long-form question answering. We analyze how retrieval augmentation impacts different LMs, by comparing answers generated from models while using the same evidence documents, and how differing quality of retrieval document set impacts the answers generated from the same LM. We study various attributes of generated answers (e.g., fluency, length, variance) with an emphasis on the attribution of generated long-form answers to in-context evidence documents. We collect human annotations of answer attribution and evaluate methods for automatically judging attribution. Our study provides new insights on how retrieval augmentation impacts long, knowledge-rich text generation of LMs. We further identify attribution patterns for long text generation and analyze the main culprits of attribution errors. Together, our analysis reveals how retrieval augmentation impacts long knowledge-rich text generation and provide directions for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google