Learning Fine-Grained Grounded Citations for Attributed Large Language Models

要約

大規模言語モデル (LLM) は、情報探索タスクでは優れたパフォーマンスを発揮しますが、依然として幻覚に悩まされています。
生成されたテキストをインライン引用で拡張する属性付き LLM は、幻覚を軽減し、検証可能性を向上させる可能性を示しています。
しかし、現在のアプローチはコンテキスト内学習に依存しているため、引用の品質が最適ではないという問題があります。
さらに、大まかな文書識別子のみを引用するという慣行により、ユーザーが詳細な検証を実行することが困難になります。
この作業では、LLM にきめ細かいグラウンディングされた引用を生成するように設計されたトレーニング フレームワークである FRONT を紹介します。
モデルの出力を詳細なサポート引用に基づいて行うことにより、これらの引用は根拠のある一貫した応答の生成を導き、引用の品質を向上させるだけでなく、詳細な検証も容易にします。
ALCE ベンチマークの実験では、優れた根拠のある応答と非常に支持的な引用を生成する際の FRONT の有効性が実証されています。
LLaMA-2-7B を使用すると、このフレームワークはすべてのベースラインを大幅に上回り、すべてのデータセットにわたって引用品質の平均 14.21% の向上を達成し、ChatGPT をも上回りました。

要約(オリジナル)

Despite the impressive performance on information-seeking tasks, large language models (LLMs) still struggle with hallucinations. Attributed LLMs, which augment generated text with in-line citations, have shown potential in mitigating hallucinations and improving verifiability. However, current approaches suffer from suboptimal citation quality due to their reliance on in-context learning. Furthermore, the practice of citing only coarse document identifiers makes it challenging for users to perform fine-grained verification. In this work, we introduce FRONT, a training framework designed to teach LLMs to generate Fine-Grained Grounded Citations. By grounding model outputs in fine-grained supporting quotes, these quotes guide the generation of grounded and consistent responses, not only improving citation quality but also facilitating fine-grained verification. Experiments on the ALCE benchmark demonstrate the efficacy of FRONT in generating superior grounded responses and highly supportive citations. With LLaMA-2-7B, the framework significantly outperforms all the baselines, achieving an average of 14.21% improvement in citation quality across all datasets, even surpassing ChatGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google