SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models

要約

LLMSを調整して、生成された応答のステートメントの高品質で微調整された文レベルの引用を生成する斬新な自己監視アプローチであるSelfciteを紹介します。
コストと労働集約型の注釈にのみ依存するのではなく、セルフキャイトは、コンテキストアブレーションを通じてLLM自体によって提供される報酬信号を活用します。引用が必要な場合、引用されたテキストをコンテキストから削除する必要があります。
十分な場合は、引用されたテキストだけを保持することで、同じ応答が維持されるはずです。
この報酬は、推論時間のベストアンドサンプリング戦略を導き、引用の品質を大幅に改善するだけでなく、優れた引用を生成するためにモデルを直接微調整するために優先最適化に使用します。
セルフキャイトの有効性は、5つのロングフォームの質問回答タスクにわたってロングベンチキャイトベンチマークで最大5.3ポイントに引用F1を増やすことで実証されています。

要約(オリジナル)

We introduce SelfCite, a novel self-supervised approach that aligns LLMs to generate high-quality, fine-grained, sentence-level citations for the statements in their generated responses. Instead of only relying on costly and labor-intensive annotations, SelfCite leverages a reward signal provided by the LLM itself through context ablation: If a citation is necessary, removing the cited text from the context should prevent the same response; if sufficient, retaining the cited text alone should preserve the same response. This reward can guide the inference-time best-of-N sampling strategy to improve citation quality significantly, as well as be used in preference optimization to directly fine-tune the models for generating better citations. The effectiveness of SelfCite is demonstrated by increasing citation F1 up to 5.3 points on the LongBench-Cite benchmark across five long-form question answering tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google